え、そんなの行かない一択だけど。
息抜きやリフレッシュになるなら行ったらいいけど、行きたくないのに子持ちが無理して参加する必要ある？
もしどうしてもまわりの目が気になるなら、「子供がいるので夜の外出はできませんが、食事会で話し合った業務に関わる内容は後でぜひ共有させてください。」と、仕事への意欲を見せてみたら？