うちの子は障害児で地区の子供会入会を辞退しました

子どもが産まれたときからこの地区に住んでますが、三歳で隣の市の療育施設に入園、来年春からは小1で支援学校に入学予定です。地区に子どものお友だちはいません。
知的障害もあるので皆との行動は難しく地区の子供会参加を辞退したのですが、今回の会長さんが福祉関係に精通してるからか、気軽に来て！いいのよ！とゴリ押しされて困ってます。
自閉傾向の強い子なので人見知り場所見知りもあるので無理強いをさせたくないと話したのですが、心配しすぎだよ！と笑われて終わりました。
どうしたらわかってもらえるんですかね...