自治会を抜けたい。

今年自治会の役員になりました。私以外の役員は70～80代と高齢です。月に３回日曜に集まり、草取りだとか○○さんが亡くなったからお香典を…とかそんな話で半日潰れます。草取りも150世帯以上あって8人くらいしか集まりません。正直月～金までフルタイムで働いて土曜に溜まった家事をして日曜はゆっくりするという生活スタイルが壊されて疲れ果てました。また何年か後に役員が回って来たらと思うとぞっとします。自治会を抜けたいのですが、抜けるとやはり困るのでしょうか。経験のある方、ぜひ教えて欲しいです。