支援級で登校班断られたからPTA退会したい

子供が支援級です。しかし登校班の親達から「指示が通りにくく不安なので遠慮してほしい」と言われたので、母子登校してました。
それなのに旗振り当番が回ってきたので「自分の子が居ないのにやるメリットないから遠慮します」と丁重に断りましたがPTAに加入してるからというのを理由にされたので、その場で退会しました。
子供は家から近いこともあり登校に慣れたので一人で登下校するようになりました(本人も一人で行く！と言ってた)

しかし学校から心配だから登校班に入るように言われ、上記を説明しましたが、PTA抜けないで！みたいなことを言われて、子供に何かあったら大変ですよ？嫌じゃないですか？と聞かれましたが、正直愛が薄れてしまったので「その時はそういう運命だと思って受け入れるので学校やPTAを責めません。子供は一人で登下校することを喜んでますから心配は要りません」と本心を伝えました。
何故かPTAの登校班を断ってきた親達と担任と主任から謝罪され菓子折りを頂き、
PTAに戻り、旗振りをやり、どうか登校班に戻って来てください！お願いします！
と頼まれてます。

丁重にお断りしてご遠慮したいのですが、良い断り方はありませんか？
あと支援級なら、こういうのはよくある話ですか？