元夫が今更子供に会いたいとか言い出して困る…

中学生と小学生の子供4人います。
長男の妊娠中に元夫が突然「父親になる自信がない」「生きる事に疲れた」「君の夫をやるのがしんどい」と言い出して仕事も突然休職し、鬱を理由に離婚したいと言い出した事と、私には直接的な暴力はありませんでしたが家を破壊しだしたので別れ、その後今の夫と再婚して現在は穏やかに暮らしてます。
長男は今の夫が実の父と思ってます。
元夫は最初は連絡とってましたが再婚する事を伝えてから一切無くなりました。

8月に入って元夫から鬱病が改善された事と膵臓の病気を患った事を理由に子供に会いたいと連絡が来ました。
私は今現在新しい家族と暮らして息子も子供たちも穏やかに暮らしてるのでと断ったら、ならば養育費を返して欲しいと言われました。

「養育費は一切手を付けてません。息子が大人になった時に実の父親は離れてるけど貴方は確かに思われてたんだよと伝える為に取っておいてましたが、お返しします」
と言ったら養育費は返さなくていいからどう会わせて欲しいと言ってます。
断り続けてたから実家に元夫が現れたと連絡が来ました。　
幸い、帰るよう促したら素直に帰ったそうです。また、酷く痩せ細っていて病気なのは恐らく本当と言ってます。

実両親も今の夫も私の判断に任せるといってます。
これもうどうしたら良いんでしょうか…
相談出来るような相手がほぼおらず、参考までにここで聞かせて下さい。