なぜ私は必ず夫の実家と付き合うのか

義両親は良い人達です
会いたくないわけではないんです

私の実家も夫の実家も遠方
私の実家に、私が子供達を連れて、夫は残して帰省することはよくあります
夫の実家に、夫とも子供達だけで帰ることは絶対にありません

先日、義両親と義妹＆義姪が我が家に遊びにきました
夫は「俺は仕事だからよろしくー」と言うので、義理親達を相手にしてました
夫が帰宅して、みんなで近所の遊園地に行くというので、私は思い切って
「行ってらっしゃーい、留守番してまーす」と言ったら
夫に「ダメ！！ありえない！」と言われました

「なぜダメなの？貴方は逆の時、普通に家で留守番するじゃん」と反論すると
「俺は何もおかしくない、自分が変なこと言ってるって思わないの？」と…

これ普通ですか？
嫁は必ず義理親に同行しますか？？
冒頭にも書きましたが、義理親は良い人たちです、会いたくないわけじゃなく、たまにはのんびりしたいんです