元彼が付き合ってた当時に出したお金を返してほしいという。返すべき？

別れて6年経つ元彼から昨年末に連絡
付き合ってた当時に出したお金を返してほしいという

当時は私が離婚して間もなくて、子どもも中学生と小学生
付き合ってた2年間、教育費や家賃なで総額170万円くらい支援してくれた
（というより経済的にほぼ彼に依存してた）

下の子が高校生になるまでは、という約束で結婚はせず、
同居もしなかったんだけど、結局別れた

別れた当初は「俺としては嫌いで別れるわけじゃないから、困ったら言って」と
言っていたくらいだけど、それから6年
私は再婚して、彼のことはすっかり忘れてた

話を聞くと、元彼のほうが今、親も自分も病気だったりでお金に困っているらしく、
「昔出したお金を一部でもいいから返してほしい」とのこと

「出してもらったお金、借りたという認識はないんだけど」
「分かってる。でも、こちらとしては結婚するものと思って出してたわけだから」
「結婚しなければ返してもらうつもりだったの？」
「そうじゃないけど」
「私も感謝の気持ちはあるから少しなら支援するけど、5万円とかでいい？」
「とりあえずは、それだけでも助かる」
「そんなに困ってるの？」
「ちょっとね（自分や親が病気の話を聞いた）」
「5万円とはいえ、旦那には相談するよ？　自分のお金じゃないから」
「分かった。ありがとう」

でやりとりは終わって、それから2週間くらい
振り込んではいないし、旦那にも相談してない

このまま放置はまずいかな？返すべき？