私の親名義の家に無料で義親が住みたいという

我が家は私の親名義の家に住んでいます。
義両親と義姉が義家に住んでいましたが、義姉に婚約者ができて家を出て、義父が亡くなったため、義母1人になって辛いからこちらに来たいと言っています。
旦那も旦那で
俺の母親を同居させて良いか？
と聞いてきたので、最初は穏やかに答えていましたが、あまり理解していなかったようなので
ここの家、私の親の家だよ？それを理解しているの？
と言ったら黙って
それならいい、こんな母を1人で暮らさせろと言うんだな、主は。
と言ってきました。
私は旦那が義家に通うか そんなに義母と住みたいなら最終的に離婚して義母と住めば良いと思うのですが、それは金銭的な事情もあり嫌みたいです。
私は今まで義母から嫌がらせを散々受けてきて義親とは同居ができないから私の親名義の家にいるすむことになったのに忘れてしまったの？という気持ちです。