障害児の男児を捨てて離婚する親

旦那から努力しない人間は見ていたく無いので関わりたく無いと言われました。
それは離婚したいってこと？と聞いてもそうではないと。
子供達にも、色々してあげているのに何も頑張ろうとしない、人から好かれたければ好かれるように努力するべき、俺に好かれたいと思っていない相手に色々してあげたくなくなっただけ、と言います。
最低限のことはするからあとはすきにすれば？と言われました。
落ちるとこまで落ちて苦しまないとわからないんだから底辺まで落ちたら？と。
もう愛はないんだね？って聞いたら、愛されたいって努力した？だって。
そして俺は大切にされたって思ったことない、だそうで。
もう、離婚した方がよいのはわかっているけど、子供達はパパ好きだし、長女は中学入学したばかり。
障害児の男児を捨てて離婚するか迷っています？