バツイチ同士の結婚

お互いバツイチ同士での結婚を考えています。
私は子どもはいません。
彼の方は子どもが2人います。(次子はもしかしたら彼の子ではないかもしれません)
前妻に不貞行為があったため、養育費は支払わないという条件で離婚しているようです。書面があり、確認済みです。
この状態で結婚はどうなのでしょうか？
彼親にも会っていますが、養育費などは話がついているから大丈夫だからと言われます。
この状態で結婚はどうなのでしょうか？約束しているとはいえ、子どもに養育費を払っていない払わなくて良いというところが引っかかっています。