＞今後の付き合いも考えるといつまでもこのままでは良くないと旦那から言われ

主さんと子供さんは義理実家に付き合う必要ありません。害しかないから。
旦那が単独で義理実家に通えばいいんですよ。
妻子を使って親孝行しようなだなんて時代錯誤です。