健康な孫を産めなかったから、義母との同居を交代して欲しい

夫の実家は二世帯住宅になっています。
1階に義母。
2階に義兄と義兄嫁と5歳男の子（難聴、手話で会話）です。

夫は次男です。
私と夫と4歳長女は、
義母宅から数キロ離れたところに住んでいます。

お正月に1階で
私の長女と義母がはしゃいだのが気に食わなかったのか、義兄が二世帯住宅での同居を交換して欲しいと言ってきました。

義兄｢お正月に、そっちがきてはしゃいだ。母も孫と普通に会話できて嬉しくて、つい嫁（義兄嫁）に<孫ちゃん（主長女）と会話できて嬉しい！うちの家系には難聴の人はいないのに、あなたは何で難聴児を産んだのよー>と言ってしまった。嫁はショックを受けて参っている。しかも母さんは手話を覚える気もない。そっちの長女と暮らしたいと言いだしてるし、二世帯住宅での同居を交換して欲しい｣
と。

同居はちょっと…と断ったんですか。
同居交換するべきですか？