離婚するべきか迷っています

夫はおそらくモラハラだと思っています。

扶養内パートの収入だけでやれと言われているのですが、夏休みとかでどうしても足りない事があり、夫に生活費をくれないかと打診すると
「俺と離婚するのがおすすめだよ」と嫌味っぽく言われます。

扶養外で働きたいと言っても「家事育児完璧でもないのにフルタイムとか出来るの？」と言われ、扶養手当が無くなるからと反対されます。

また、私は二人目欲しかったのですが、夫は結婚がに意見が変わり一人でいい(趣味にお金を使いたいらしいです)と言い
「そんなに子供が欲しかったら離婚して他の人と子供作れば？」と言います。

でも、離婚するつもりは無いし、上記は冗談らしいです。
私は言われるたびに心が死にます。

今はもう第二子も要らないですし、夫に触りたくなく好意もなく、離婚したいのですが、子供が小学校低学年で物心ついていて、しかもパパ大好きな子なので、父親を奪ってしまうことに罪悪感がありできません。

でもこのまま夫と一緒にいたら精神を病みそうで…。

どうするべきなのでしょうか。。