元旦那が近くに引っ越してくるかも

離婚して養育費はもらっています。
子供とも月3くらいで会わせていました。
家は電車でも車でも1時間弱くらいの所に住んでいたのですが事情あり実家をでるため引っ越ししなきゃだそうで子供に1駅違い(自転車で行ける距離) くらいに引っ越そうかなと話してたらしいです。
離婚理由は借金や性格の不一致で現在懲りずにまた借金しているようで(数百万任意整理した後にも関わらず)数ヶ月前に借金返済したいから金貸してと言われたところでした。もちろん貸してませんし、そもそも、そんなお金ありませんから。そのあと、借金と実家を出なくてはいけない理由から養育費減額には了承しました。
実家暮らしだったのにまた借金していた事実を聞き落胆しました。
子供は近くに来てと言ったらしいですが、私は正直嫌なんですが、伝えるべきでしょうか？
これからも借金するだろうし借金がいつ子供にふりかかるのか不安だし、元旦那が入院したときなどの医療費とか不安でたまりません。
もちろん拒否すればいいのですが借金もありこれからも増えるだろうから(昔から繰り返す人で病気です)その理由を子供にされるのも嫌だし、子供が今よりも父親が近い存在になれば拒否するのも後ろめたくなるのではと心配もあります。子供が大きくなるにつれて、少しずつ疎遠になるであろうと思っていたのですが。
子供にはこれ以上元旦那の負担を負わせたくないので複雑です。
ちなみに現在わたしは男っ気も全くありませんし再婚する気もありません。
ですが近すぎて、元旦那に偶然会ったりとかあると思うと気が重くなります。
元旦那には何も言えませんか？私は勝手な考えでしょうか？