会社の忘年会

共働き正社員、子ども２人(３歳･１歳８ヶ月)がいます。
旦那は毎週３日ジム通い、その間ワンオペ。
土曜日は朝から晩までワンオペ。
家事育児は基本私です。旦那ほとんどしない。
盆と正月の休み前に会社でお食事会があり、年に２回だけだし、旦那に子ども預けてゆっくりご飯食べよう！と会社の人が誘ってくれるんですが、旦那はこれが気に入らないらしく、機嫌が悪くなります。
自分は毎週３日、好きなようにジムに行ったり、友達に会ったりできるのに、私は友達にも会えず、一人で外出もできず、実家にも帰ると嫌そうにされます。
義父母も年に２回だし見とくからゆっくり行っておいでと言ったくれたんですが、それでも気に入らないようです。
行くのをやめるべきなんでしょうか？同じ親なのに、私ばかり我慢している気がします。