おそらくご主人は、外では「普通の夫」を演じているのだと思います。
ウチも似たような関係でした。

義実家にも色々と問題があり、帰省もほとんどしてなかったのですが、法事でどうしても行かざるを得なくなり…
その時に夫には、「仲がいいふりはしない」と釘を刺しました。
そしたら、笑ってしまうほど、帰省中は媚びてきましたよ。私が取り繕ってきたことに自覚があったんだなーと。

結局、ご主人は連れてっちゃえば、あなたが義両親に対して仲がいいふりをして取り繕ってくれると思っているのです。はっきり言えば、「親孝行の道具」。

ちなみに、夫が家族の方を向くようになったのは、会社で立場が悪くなってから。家族に居場所を求めてきました。
が、その時は子どもはすでに思春期のど真ん中。
父親が必要な時期に放置され、うまくいくわけもなく。私も受け入れられず、そのまま「仮面夫婦」です。

私は「行きたくない」って言っちゃいます。「あなたにシカトされて居心地が悪いから」と。粘られたら、「じゃあ、今回も居心地が悪い思いをしたら、次回からは行かないから」と約束しては？

悪いのはご主人ですが、あなたも思うことを伝えないといけません。