自分の子供とも関わらなかった人だから、向こうの子供にも最初だけだよ。
今は良く見せてるだけ、その内可愛いなんて思わなくなる、そんな男なら。
とりあえず納得出来る養育費や慰謝料払わないなら離婚にサインはしませんでいいんじゃないの？
生活費入れなくなるなら婚姻費用請求の申し立てして。