長文。子供のことを考え、離婚しようと思っているのですがアドバイスください。

子供は5歳と1歳10ヶ月です。

旦那の給料は60万ぐらいです。
ですが、旦那に借金があるため全く貯金できていません。お金は旦那が管理をしていて生活費を10万円いただき、そこから幼稚園代3万と、オムツ代や子供にかかるお金、食費、雑費を支払っています。

この度事故を起こしてしまい、負債が100万ぐらい増えました。
休みの日も子供とは全く遊んでくれず、月1ぐらいでラウンドワンや外食に連れて行ってくれますが、ラウンドワンも最初の10分ぐらい上の子供と遊んでくれるだけであとは私にバトンタッチ、自分はマッサージチェアーで二時間寝てる、みたいな感じです。
もっと子供と触れ合ってあげて。と言ったら、遊んでるじゃん！(月1のラウンドワンや外食)と言ってきます。
いつも帰宅するとすぐ寝室行きます。子供が遊びたそうにするので、遊んでもらってきたら？というと「一人じゃ言えないからママも一緒に行こう」と手を繋ぎ一緒に、あそぼ！と言うのですが「また今度ね！」か、「一緒にYouTube見る？」と携帯を見せてきます。
なので、子供はうつむきながら私と一緒に寝室から出て、そっと、扉を閉めます。

先月、女友達と子供たちと昼から居酒屋に行き色々と話をしていたのですが、奥の座敷の男性方が子供においで～！と言ってきて最初警戒していたのですが徐々にふざけ始めあちらに子供がお邪魔して、すっっっごく楽しそうに笑って遊んでもらっていて。
普段すごく我慢させているんだなと思い、離婚を意識しました。
今までは、浮気を度々されたり、ギャンブルをしたり、酔っ払ってモノ破壊されたりしましたが
子供がパパ好きだから我慢我慢。と、離婚を我慢していました。
でも今回、本気で離婚を意識しています。
子供のために離婚を我慢していましたが、子供のためには離婚した方が良いのでは？と思い始めました。
でも子供はパパのことが好きみたいです。
実際今回旦那が運動会来れないかもしれないんですが、パパもしかしたら来れないかもなんだ。ごめんね。と話したら、嫌だ！パパにも見てもらいたいんだ！
と話していたし…。どうしたらいいかわかりません。