彼女がいる元旦那との復縁について

元旦那との関係で悩んでます。
元旦那とは4年前に私の浮気が原因で私から離婚してます。親権は元旦那が持ちましたが、私からの慰謝料や養育費は、私の生活の負担になるからと受け取ってもらえませんでした。
その元旦那ですが、今はお付き合いしている彼女がいるのですが、月一の面会日以外にもこっそり会いに来る日が増えました。子供達の前では面会日にのみ外でしか会っていないのですが、子供達に内緒で我が家で密会しています。

元旦那の彼女は物凄く嫉妬深い人らしく、月一の面会さえ反対していたそうですが、勝手にLINEを見られたらしく面会日以外の密会がバレてしまい、先日は密会予定の直前に邪魔されて会えませんでした。
その事があってから、元旦那は彼女と距離を置いてて、私とまたやり直したいと言っています。

私は今は彼氏もいないんですが、今のままの関係が気楽でいいのですが、子供達はパパ大好きでいつも会いたがっているくらいなので、やっぱりよりを戻した方がいいでしょうか？