引っ越したくても問題ばかり

悩んでます。
長文になりますがお付き合いください。

現在都心にて夫(35)私(34)息子(3)娘(0)
で暮らしてます。
私は派遣社員で勤めてましたが、現在は育休中で、夫は自営業です。
収入に関しては2人合わせて750万ほど。
自宅は私側の祖父母が生前所有していた空き家を使っていまして、ありがたいことに家賃がかからないという恵まれた環境でした。
これといって不満もなく、私の両親も近くに住んでいた事もあってありがたく住まわせて頂いていたのですが、、、

つい最近、実父が難病にかかっていることがわかり、治療費に多額のお金が必要になることになりました。
それだけでなく、その父に多額の借金が発覚して、親族に渡すはずだったお金にまで手を出してしまっていたことが発覚。
そんな中、親族の中で今私たちが住んでいる祖父母の空き家を私たちが勝手に住んでいるのはおかしいんじゃないか？というような話が出てきました。
ここに住むことの許可を得たのは父からで、それも口約束。諸事情により父がこの家の権利を持っているわけでもなかったんです。

このままだと、親族間の揉め事が悪化しそうですし、もともと私自身も子供のことを考えると違う環境の方がよいのでは、、と思っていたところもあり主人とも話し合ったのですが、
主人は自営業で今の場所が仕事上どうしても良く、すぐには引っ越せない、貯蓄はあるとはいえ生保の定期でやってるから今崩すのは気が引ける、自分もいつかは家族で自分の地元に引っ越したい気はあるが今すぐは出来ない
とのことでした。

でも、親の借金問題と難病、やんちゃな3歳児、生まれたばかりの長女の子育て、
親戚からの苦言などでこのままここに住んでいたら私自身が病んでしまう、、という話をしたところ、どうしても精神的につらいなら引っ越しを進めるけど、郊外に引っ越したら自分は毎日帰ってこれなくなるかもしれない。と言われました。
旦那は本当は地元方面で働きたい気持ちはあるのですが、今までお世話になってきた関係先と離れるのは勇気がいるようで、、
その気持ちがわかるため、それ以上引っ越しのことは話せていません。

私は、もう年齢も30半ばですし、夫の地元方面に移住して子育てをしてもいいのではと考えているのですが、夫の仕事は地方だと給与が低いため、夫は今すぐは、、と思っているようです。ただ、今の家はとても恵まれていますがリスクが高すぎてこのまま住み続けるのも現実的ではなく、悩んでいます。

長くなりましたがご意見お待ちしてます