専業主婦していて離婚した義妹が戻ってくる

専業主婦をしていた義妹が戻ってきます。
義両親とは二世帯住宅で同居ですが、義両親と義祖父母が住んでいた家のため、建物は義父名義です。
旦那と義妹は とても仲が悪いため、義妹が戻ってくるため私達は出て行く予定です。
義妹と義母は それについて賛成しているのですが、今まで私達が支払っていた光熱費や家の税金は今まで通り こちらが払って欲しいと言ってきています。
義父は義妹が浅はかな考えで勝手に戻ってくるのだから、私達は残り、義妹親子は どこか別に住むように言っています。
私としては、二世帯住宅から出られるのは正直嬉しいですが、なんで住んでもいない家の光熱費や税金をこちらが支払わなくてはいけないのか納得がいきません。
義妹が仕事に就くまでと言っていますが、そんなのはいつになるか分かりません。
何か良い方法はないでしょうか？