先ずは一番上の子に聞いてみては？
大人の都合で離婚をしておいてまたかよって思われると子供からの信用も失う事になりますよ。
元旦那さんの真意も家族と一緒に居たいと思っての事なのかそれとも養育費を払う事での生活苦からなのか…
しっかり見極めた方が良いと思います。