わがままな性格の子供の友達との付き合い方

近所なこともあり園時代からよく一緒に遊んでる子がいます。ただ、息子は気が弱くお友達はとても気が強く自分の思い通りにならないと「もうお前とは友達やめるからな！」や「他の子とは遊ぶけどお前とは絶対に遊ばないからな」「お前だけ除け者にしてやるからな」などと言われています。腕を強く掴まれたり引っ張られたりするなど軽めの暴力も振るわれるそうです。
帰ってきてはメソメソとべそをかいているので私は嫌なことややりたくない事を言われたらその場を離れなさい。そんな嫌な気持ちにさせるようなことを言う子とはもう遊ばなくてもいいんじゃない？とアドバイスしましたが、息子はなにか言われたり強く腕を掴まれたりするのが怖くて嫌だと言えない、他のお友達に悪口を言ったりするから一緒に遊ばないとは言えないといいます。

こういう性格の息子にはどういうアドバイスを伝えるのがいいでしょうか？息子と私の性格も違い過ぎてついイラッとしてしまいます。