サボり魔、幽霊部員のくせに何言ってんの？

隣町にある某子ども食堂ボランティアの春休み企画に誘われたんですが、仕事が被ったためキャンセルしました。すると主催の方が、お子さんだけでも良いよ、お迎えに来てくれるまで私たちが見ていてあげるから…とラインが来た。
ご迷惑ではないかと思ったのだけど、あちらからのご厚意を、即答でお断りするのは角が立つと思い、お気持ちありがとうございます。〇〇時に行けるよう調整して、また連絡しますね。と返事した。しかし、その話を聞いた義理の母が猛反対。
みんな休みを取って母子でくるのに、一人だけ親なしで来るのはおかしい、一人で食べる子どもが可哀想。無責任だ。もしケガとかあったらどうするの？と言われた。確かにそうかもなと思い、やはり親無しでの参加はトラブルがあった時に申し訳ないからと、改めてお断りしました。

すると、今度は会員の中でも、あまり参加していないお母さん達から「断るなんて失礼だよね」と言われたのですが…。
その方達は、ボランティアに名前だけ登録している所謂、幽霊部員で、イベントに誘われてもその日は美容院だから…と言って毎回欠席、または仮病使って彼氏とユニバへ行ったり、誘いを断って堂々とサボってる人達です。
自分こそサボり魔で幽霊部員のくせに、断るなんて失礼なんて、言われる筋合いありませんよね？