不安だから免除、ではなくパニック障害があってもできることを探せませんか？

「できなかったらという不安」は「できた」という経験で払拭するのが一番ではないかと思うのですが。ご自身のためにもなりませんかね？

役員というとなにがなんでも無理してやらなくちゃ、というものではありません。必ず複数で協力しあいますから。誰にでも得手不得手はありますし、家庭や仕事の都合などあります。お互いさまの精神が第一だと思いますよ。
まずは自分を見つめ直し、できること、できないことを仕分けする。できないことを誰かに頼る練習もかねて、やってみては？

なんの問題もなさそうに見えるほとんどの人だって、苦手なことや都合がつかないとき、代わってもらったりしてお互いに融通してますよ。