嫌なら嫌って言う。

俺はどっちでも良い。←旦那さんが一番むかつくわ。お前の親だろ。将来的に主さんに介護おしつけそうだわ。

関係壊したくないなら、お義兄さん家族と相談して「同居はしないけど、何かあったら駆けつけるし、みんなで協力するよ」くらいにする。