保護者会役員での相談

先日、保護者会で役員が決まりました
今年度の会長は男性
副会長が私です

会長が男性という事もあるし
連絡の行き違いも起こらないように
LINEでグループを作り
全てグループトークで連絡すると決まりました

しかし
その翌日会長から個人LINEが来ました
「役員の仕事の詳細を話し合いたいので時間を取って下さい」
という内容でした
「個人LINEのやり取りは受け付けません。グループトークでお願いします」
と返信しましたが
「人数が多いと意見が分かれるので」
との返信

グループトークと決めていたので
「会長から役員の仕事の詳細を話し合いたいと言われています
みなさんの意見をお聞かせください」
とグループトークにLINEしました

みなさんから「会長と副会長にお任せします」とのことになり話し合いをすることになりました

旦那にも事の成り行きを相談し
当日、旦那にも同席してもらいました
一通り役員の事も決めました

数日後、会長の奥さんと
同じクラスの保護者が家に尋ねて来ました
「保護者会を利用して不倫するのはいかがなものか」
「会長がウチの旦那だから副会長を買って出たんでしょ」
等々言われました

スマホのLINE内容も見せて
話し合い当日には旦那も同席した事をお話しましたが
何だか納得していないような態度で帰っていきました

こんな状態で1年間役員をやっていく自信がありません
代わってもらえる時は、旦那が会議等は引き受けてくれますが
全ては仕事があり無理だと思います
どうにかこの状況を打開する方法はないでしょうか？