こう言う時って皆さんも黙っていますか？

職場の男子学生（23歳くらい）に「来月頭に忘年会しますんで」と言われました。
今までも飲み会はあったようで、パート達も声を掛けてもらっていたようですがそこの席は学生ばかりだしと言う事で誰も行くことはありませんでした。
今回そう言われて私が「もし高校生がいるなら行かないよ。私お母さんでしょ？子供に注意しなきゃいけない立場だからね。自分達も高校生の頃は行っちゃってたけど自分の子供にはダメだって言わなきゃいけないからね。だからお母さんとして今回は行けない」と言ったら男子学生の子は納得してくれました。
でも他のパートさん達は誰ひとり理由を言わず、忙しいからとか旦那がとか若い子だけで楽しみなとかそう言った断り方をしていました。
でも陰では違う事を言っていました。
それを旦那に話したら、その男子学生も上から言われてびっくりしただろうなと苦笑い。
私の言動おかしかったですか？普通言わないの？