飲み会、中３の子がいるから行けないって変？

旦那と上の子も一緒に住んでるけど帰りが遅い。
別に20時22時ぐらいまでなら私の仕事で遅くなったり、私が夜30分から1時間ウォーキングしたりしてるから留守番はしてるし、そもそも中学生も塾があるので22時ぐらいまでいない日も週3から4ある。
でもできれば夕飯一緒にたべたいし、塾は車で毎回迎えにいく。
旦那に前もって頼めば塾に間に合うように帰ってきてくれる。
一番は飲み会となると私のペースが狂って面倒だから中学生がいるからって断ったんだけど、「えー、中学生なんだから留守番ぐらいできるでしょ」「少しぐらいいいじゃん、うちの子も1人で留守番してるよ？」と言われることが多い。
中学生に夜留守番させたくないって理由はダメ？