ショック！旦那の借金が発覚したんだけど離婚？

5年前から消費者金融から借金していることが発覚しました。
金額は80万です。
何に使ったかと言うと、借金が発覚した時は投資と言っていましたが離婚したくない為の嘘でした。
本当は単身赴任先での職場の仲間との飲み代などに使ったと…。
実際、一緒に生活していないし見てもいないのでこの話も本当か嘘かわかりませんが。

俺は離婚する気はない、単身赴任先で本業の他にバイトをして3年後に完済する予定。家庭のやり繰りは今まで通りお前に任せる。この借金は俺一人でどうにかするから。と言います。
バイトが出来ない月は、借りて返済してしまうけど。と。

結婚当初も借金があって私のパート代も全額返済に充てて完済して、もう二度と借金はしないと約束していました。
何年間も旦那に裏切られてショックです。
旦那が話す内容全て嘘をついているように思えて信用できません。
また借金されるかもと思っています。

子供は高校生・中学生・園児です。
今、私は仕事していません。
離婚した方がいいのか？我慢して生活した方がいいのか？
アドバイスお願いします。