もう一緒に出掛けないほうがいいんじゃないの？子どもたちも楽しくないと思うよ。

出掛けたいなら頑張って旦那のご機嫌をとるか、怒られても反論せずに「あーごめんごめん」でスルーするか。
たぶん時間守っても別の些細なことでネチネチ言いそうだから一緒に行動しないのが一番じゃないかな。