役員を断る良い方法教えて

私は専業主婦で子供も1人。幼稚園から家が近い為、役員には最適なんですが、実家も遠く、不妊症と言う事で、月に何度か病院へ通っています。役員を引き受けてしまうと、ほぼ毎日(午前中)役員の集まりがある為、子供が幼稚園に行っている間に病院へ行けなくなります。病院では最低2時間ほど時間が掛かるので、子供を連れて行くと2時間も待たせる事になるし....。
前回、この理由で断ったら、「大丈夫ですよ。病院には行けますから」と言われ引き受けたのですが、結局役員を優先させられ、病院への通院は一時中断しました。(通院で休むと、次の集まりでイヤミを言われるので)
今年こそはしっかりと通院したいのですが、役員の良い断り方ってないですか？