支援学級の子の登校班　断りたい

子供の登校班の区域に9月から転校して来た子がいます。
夏休み中に登校班のグループラインに挨拶と子供が２年生で支援学級であること、慣れたら登校班に加わると連絡がありました。
私はまだ面識はありませんが娘と息子曰く、お母さんと登校しているのを見かけた時にわがままでルールを守れない子のようでその子が同じ登校班だと知ってとても嫌がっています。　
慣れるまではお母さんかお父さんが付き添ってくれるそうですが、だったら登校班に入る必要ないし親子だけで登校して欲しいです。
断るといじめみたいで気が引けるし、穏便にやめて貰う断り方や方法はないでしょうか？
とりあえず子供達には自分から挨拶しないこと、話しかけられたら「わかりません」って答えるように言ってあります。