発達障害、通常級在籍は迷惑？

今年小学生になるADHDの子がいます。
子供が幼稚園の同級生で3歳頃から知り合いのママ友がいるんですが唐突に｢特殊学級(支援級)にしたんでしょ？｣と言われ驚きました。
言葉が遅かったのでふんわりと療育に通っていることは伝えていましたが、癇癪や他害もなく今まで迷惑をかけるようなこともなかったので障害については話していません。なのに今までも｢自閉症って特別な才能があるんでしょ｣とか、小学校の話になると何年生の子が今年度から特殊学級に移った、福祉関係の人がそういう子は特殊学級の方がいいと言っていたとか言ってきます。
適当に聞き流していましたが、同じ親としてデリカシーがないし、小さい頃から知っててもこんな感じなんだとショックです。
子供は通常級＋通級ですがゴリ押しした訳ではなく、療育や病院の先生方の意見、就学相談を受けて決めました。発達障害の子が通常級在籍は保護者からみて迷惑ですか？