自治・子供会の役員の件でのトラブル

今回の役員の件で私は事前に共働きで私も週4日～5日はフルタイムでパートをしているから役員は出来ない事を伝えていたのに、役員決めの投票の紙に名前を入れられ、選挙でうちが役員に選ばれました。
なので会長や副会長に出来ない事を直接言いに行ったけど、役員をやっていない宅が優先で名前が載るとか、シングルの家庭でどうしてもと言う以外の理由では選ばれたら断れないみたいに言われました。
なので私は一切何か行事の集まりとかがあっても参加してなかったら裏でグチグチ言われているみたいで、強制的に役員をやらせてきて、断ってるのに拒否権がない感じにされたのに流石にこれはどうなんですか？