元奥さんが養育費はいらないというから払わない

昔付き合った男なんだけど、バツイチのひとで養育費払ってるのか聞いたら「いらないっていうから払ってない。子供と会ってないしね」と言ってたけど今思うとあり得ないよね？
その時は子供もいなかったからそうなんだ、くらいだったけど、今考えると自分の子供なのにいらないって言われたら払わないの？？っておもう。
私だったら払わないにしてもその子のために毎月貯金しとくかも、いつ必要になるかわからないし。
男の人って子供に愛情ない人多いよね。特に離婚して奥さんが育ててる人。
だから離婚するのか。