小学二年男児いじめ？

私には小学二年生の息子と五歳の息子がいます。上の子は内向的でメンタルも弱い方です。学校へ行くと遊ぶ子もいますが凄く仲がいい子はいなさそうです。学校から帰った後や休みの日は毎日近所の公園で遊びに行っているんですが、そこで仲良く遊んでる時もあれば、一人で遊んでる時バラバラです。

特に気にしていなかったのですが、前に一度学校の帰りに三年生の男の子数人から悪口を言われ泣いている所を目撃した事があります。学校で会うとちょっかいを出されるみたいなのですが、悪化する前に和解したらしく今は大丈夫と言っていました。
ですが最近では同い年の子と約束をして、待ち合わせ場所へ行った所「何できたの？」と言われ帰ってくる事が二度ありました。前日楽しみにしていたのを見ていた為可哀想で悲しくなりました。しかも、息子はこっちが聞くまで何があったか話しません。
さっきもいつものように近所の公園で一人で遊んでいたら、五年生の子達や同い年の子に何でいるの？と言われたらしく帰ってきました。
よく旦那が下の子を連れて公園に行くのですが、上の子より下の子の方を遊びにいれてくれたりするみたいです。

上の子の方がコミュニケーションが下手で何か言われたらシュンとして黙ってしまったり、ウジウジしたりと私の小さい頃にそっくりで、これじゃイジメられる原因にもなると焦ります。ただ私も似た性格なので息子の気持ちもわかります。

最初は酷くならない限り親は出ていかないで、アドバイスだけしようと思っていました。
悪口を言われたら何でそんな事をいうのか聞いてみる事、やめてという事、自分から遊ぼうと誘ってみたり努力する事を言いました。でも余りにも頻繁で言ってる私も辛くなってきて、アドバイスすると涙目になる息子を見るのも辛いです。

私のやり方が間違っているんだと思うとどうしたらいいのか、私は親として何をするべきなのか今わからなくなっています。
情けないのですが、皆さんにアドバイスを頂きたいです。感情的に書き込みしたので、めちゃくちゃな文章でわかりにくかったらすみません。