ちゃんと話し合うべきだね～。
失礼だけど、主さんのご両親もちょっと常識ないのかな？って思っちゃう。
うちの母なら、帰れって言うな。
バイトといっても働いてて疲れてるんでしょ？旦那さんにご飯の準備はしてないの？

主さんももうちょっと母親として妻として家族を持った意味を考えなきゃ。
うちは昼間で寝かせたら後は子供たちが騒ごうが気にしない。

眠いなら子供たちと早寝させる。

この状況で浮気されても仕方ないと思うけどね。