会社の忘年会など

小さな会社の為、関連会社３社合同で打ち上げや忘年会を行うのですが、
今までは「子供連れでもＯＫだから来て」と言われ７割型参加していました。
でも、今年の忘年会から「子供ＮＧ」と別の会社の社長（強面）に言われました。

預ける先がないので参加することはできない、と不参加にしました。
すると「なんで参加しないの？やっと全員揃うと思ってみんな楽しみにしてたんだよ。
○○くんにも早く会いたいねって話してたのに。子供連れでいいから来な。」と
他２名の社長や社員の方々に軽く怒られてしまいました。
そして何より１番年下で１番下っ端の私は、予約や注文などをしなくてはいけないのに
不参加となると、上司にお願いしてしまうことになります。

この場合、みなさんならどうしますか？
あと、みなわんは普段どうしていますか？

ちなみに子供は３歳です。