私なら自分達が出てって、ローンは義弟に払ってもらう。
そうすれば将来義弟の財産にもなるし、文句も無いでしょう。

2年分のローンの支払いは損切りだと割り切って諦めるかな。
この先ジワジワと財産を蝕まれる予感とオサラバした方が精神衛生上良いと思うから。