離婚したい。話聞いて下さい

批判覚悟ですが、話を聞いて欲しくて。
長くなりますが、良かったらレスください。
結婚して12年、子供二人、中二と小五男児います。デキ婚でした。
当時から旦那はろくでもない男で、いたわり思いやりの気持ちなし、収入は20万くらいあった時もありましたが、ここ10年くらい無職でいました。
私が水商売と風俗(旦那には内緒)で食いつないで来ました。
半年前から旦那は働き始め、現在価格収入12～15万、真面目にやっているし以前よりはいたわってくれます。
だけどもう私は今更昼職もできる気がせず、このまま一生夜を、と思うと身も心も限界です。
この立場で恥ずかしい話ですが、私は3年くらいお付き合いしてる人がいて、不倫ですが、もう頑張らなくていいから子供連れて俺のところに来いよと言ってくれる人がいます。
俺は子供たちに受け入れてもらえると思わないし、父親にもなれると思わないけど義理の父として責任もって面倒見るよって。
子供に対する後ろめたさや申し訳なさあります。
旦那は離婚してくれないと思うし、子供だって嫌がるのは分かります。
私が楽になりたいだけと言われたらそうかもしれませんが、もう辛くて。夢見てしまいます。
離婚してもいいと思いますか？
皆さんならここまで来たなら、子供のために最後まで旦那と頑張りますか？