働くことを反対するのに、直ぐに離婚を仄めかす夫

夫の希望で13年間専業主婦をしていました。
働くことで家事育児に支障が出る事を嫌い反対されていましたが、説得を続け去年からパートで働くことができるようになりました。週４のパートですが、少しでも家事育児が疎かになると辞めろ、減らせと言われている状態です。仕事人間の夫の家事育児への参加はゼロに等しいです。

最近些細なことで口論になったり、夫の思い通りにいかないと、もう無理だ。出て行く。と言う様になりました。俺の様に稼ぐことがどれほど大変か、一度自分でやってみろと言われます。
普段からモラハラ気質な夫に本心では、どうぞ出て行って下さい。と思いますが、小、中学生の子供が3人いるので簡単には決断できませんし、散々働く事を制限してきて、気分次第で家庭を投げ出す夫の身勝手さに納得できません。

このまま我慢して従い続けるか、見切りをつけるか悩んでいます。