こんな旦那、離婚していいですか？

私、42歳。フルタイム、不定休、夜勤あり。
子ども中3と小4。
上の子が発達障害グレーで、小学生になったとき手が掛かりすぎて両親フルタイム正社員は無理となり
旦那が退職してパートタイムになりました。

旦那、未だにパートタイムで収入を増やそうとしません。話し合いましたが「今の仕事が楽しいから、このままがいい」と言います。
私は収入を増やすため（私は副業禁止）管理職試験を受け、今は管理者の仕事も増え夜も眠れないくらい悩みが多い状態です。

私が朝早く帰宅も遅いため、旦那が仕事を辞めたときに「食事」「洗濯」は必ず旦那がやると決めました。
未だに、食事と洗濯以外はやろうとしません。話し合いをしましたが「俺は子育てと仕事で忙しい」と譲りません。2人でフルタイムしていたときは家事も育児も全て私でした。

学校のPTAや習い事の役員は全て私です。習い事の送迎は私が仕事で居ないとやってくれます。
子どもの受診も、学校のあつまりも、私の夜勤明けや休みに全部やればいいという考えで熱が出ても「明日（あさって）、ママが連れて行けるね」と言います。

下の子が中学生になったら、習い事の送迎も必須ではなくなるため離婚したいなと思っているのですが
辞めておいた方がいいなどご意見ありますでしょうか？