息子があんまり好きじゃないお友達から遊ぶの誘われたらどうする？

お友達はすごくいい子なんだけど息子はなんか性格が合わないみたいで一緒に遊んでも楽しくないと言っています。
でもそのお友達からはよく一緒に遊ぼうって誘われます。息子は何も予定がなくても「嫌だ。1人でゲームしてたい」と言って遊ぶのを嫌がります。
いつもそのお友達のお母さんからLINEで誘われるのですが毎回断るのも申し訳ないし、しかも用事あるって嘘ついて断ってるしで。
息子にたまにはその子と遊びなさいって言ってもほんっとに嫌がらせるし、、
皆さんならどうしますか？？
ちなみに小3年生です。