高学年から支援学級

３年生の息子について意見を頂きたいです。
５歳検診から様子見と判断され現在はいわゆる境界知能と診断されてます。
医師からの「普通の幼稚園でサポート受けながら集団生活でもいい」との言葉もあり、幼稚園と小学校1、2年の頃は補助の先生に付いて貰っていました。
3年になり夏休み前の面談で担任から来年から支援学級はどうかと打診がありました。
私も異論はないのですが息子が抵抗しています。
「支援学級ってできない奴が行く所じゃん、俺は違う」「あそこは馬鹿のクラスだよ」と言い、先日は担任にも説得して貰い何とか支援学級の見学に連れて行きました。
１年生から4年生までの7人のクラスで、うまく喋れない子、寝転がってる子、何の問題もなさそうな子までいろいろなお子さんがいました。
先生も子供達に寄り添って指導されていてとても素敵なクラスだなと思っていたのですが、見学中に息子が度々、「まだそんなとこやってるの」「俺はこんなの簡単だよ」「何言ってるか分かんない」と失礼な発言を繰り返してしまいました。
先生も子供達も何も言いませんでしたが来年移籍するのが気まずいです。
息子は幼稚園の頃から小さなトラブルが絶えず友達もいないようですが、本人は困っていないようです。
進路のことを考えるとこのまま普通のクラスの方がいいでしょうか？