離婚した元夫がまた一緒に暮らさないか？と言ってきた

元夫の不倫が原因で離婚し、元夫は不倫相手と結婚。しかし、養育費と慰謝料で経済的に苦しくて離婚。
元旦那が寂しい戻ってきたいっていってる。
私は断り続けているけど、子どもには父親がいた方が良いと元旦那だけでなく旦那親や私の親まで言ってる。
子どもまでも どこから聞いたのか
お父さんと一緒に暮らすことになるの？
とか言い始めた。
みんなならどうする？