義実家に自分も言っていないなら、旦那さんが自分の実家に来ないのも認めましょう。

義理の両親がいい人とか気を遣ってくれる人とか関係なしに、関わりたくない人は関わりたくないのです。
これまでは、あなたも自分の親のところに来てくれてたから自分も嫌だけど行っていただけで、あなたが行かないなら俺も嫌だから行かないよって意味でしょ？
なにが不満なの？

たまにいるよね。義実家には行きたくないけど自分の実家には来させようとする人。わがままだと思うよ