漁師の旦那と離婚

現在、旦那と離婚を考えています。
旦那とは前の奥さんといろいろあり、現在私が旦那の元奥さんへ慰謝料を払っている状態です。
旦那は元奥さんからの慰謝料を免れるため元々の仕事を辞め漁師になりました。
しかし、その漁師の仕事も満足な収入を得ることができず、私の稼ぎが頼りになっている状態です。
先月には私が飲んで帰って来たときに寝てる間に中出しされ、今月妊娠が発覚してしまいました…3人目です。
しかも先週から漁師の仕事が長期の休みに入ったようです。
もう頭が真っ白です。
先月一度離婚を切り出し相手の両親と話をしましたが、旦那はわかれないの一点張りでした。
今まで家事や育児にも協力しなかったのにそれからやたらと協力してくれます。
しかし、3人目ができたら実家にお世話になると簡単にいうのです。
それより寝ないで仕事をするという考えはないかと腹ただしくなります。
もう歳も40すぎるので安定した仕事にはつけないだろうし、どうしたらいいでしょうか？
やはり離婚して実家に戻るかシングルで頑張って行った方が良いのかこのままこの人と一緒にいていいんでしょうか？