主が挙げた３つの理由だけど、程度によってはモラハラ案件かと思う。
本気で離婚したいなら、まずは日記をつけてみたら？日付、怒鳴られた、バカにされた、って具体的な旦那の言動を記録しておく。録画、録音ができるならベスト。モラハラの証拠があれば、離婚事由にできるよ。
ただ、不貞なし、経済的に不自由なし、だと、厳しくはなると思うし、今は単身赴任で会うのが月に数日だと、理由としては弱くなると思う。
なので今は末子が小さいから、将来的に離婚、って形で考えてみたら？
まずはパートじゃなくて正社員。給料は安くても良いから、経済的な安定を確保する。
で、貯金。末子が大きくなったら、別居する。単身赴任じゃない別居の期間が長くなれば、離婚はしやすくなる。
いつでも離婚できる、って環境があれば、何が起きても対処できるし、なにより自分の精神状態が楽になる。ないかもしれないけど、準備期間に夫婦関係が改善しても、別にデメリットないよ。