主さんの投稿のみ読みました。
学校に言ったほうがいいと思います。
いきなり別にしたいというよりは、対処してもらえないか聞くというのはどうですか？
私の子供も似たようなことがありました。
うちのところは集団登校ではないので、近所の友達同士で行ったり1人の子もいるし、完全に自由なのですが、近所の同級生に支援級の子がいてその子含め5人で登校していました。
でも突き飛ばしたり他害がすごくて。
我が子も突き飛ばされて車道に出そうだったところを、偶然ママ友が見ていたようで教えてくれました。
子供に聞くと何度もあるし、他の子にもやってると。
支援級の子のお母さんの連絡先は知っていましたが、近所なこともあり角が立つのも嫌だし学校(我が子の担任)に伝えました。
担任からは「怖い思いをさせて申し訳ないです。支援級の担任などと相談して対策を考えます」とお返事がきて、次の日からは支援級の子のお母さんが朝は学校まで付き添うことになりました。
その後しばらくは一緒に行っていましたが、結局我が子含め3人は別で行くことになりました。
ちなみにその子のお母さんは、学校から単独登校の許可がなかなか出ずに4年生まで付き添っていましたよ。

長々と書いてしまいましたが学校が何か対策をしてくれるかもしれないし、もし何もしてくれなかったときに「別で登校させます」とすれば良いかなと思います。
頑張って！