離婚するか、どうなのか

小４、中１　男子二人います

旦那はもともと浪費家でした
基本的に家計は私が管理していたのですが、旦那は家計費から引き落とされるクレジットカードを持っていて、自分の欲しいものを買っていました。多いときは月１５万とかでした
家計のクレジットカードで、無断で自分の買い物をするのでやめてと言い」続けて訴え続けたら
（それまでも、数年いろいろと不満や文句を言われていた）
最近は、あまりカード使わなくなったと思っていたのに
なんだかちょこちょこアマゾンから届くなと思っていたら
退職金（８年くらい前に、それまで１０年くらい務めた会社を辞めて転職しました。その時の退職金を別口座に入れていると言われていました）
からずっと、自分のものを買っていたみたいです。
変だと思って度々聞いていましたが、ポイントから買ったとか言ってごまかされていました。
多分退職金３００万くらい。私と結婚していた期間を考えて、共有財産分は私にも５０万くらいあると思います。

最近、さすがにおかしいと思って問いただしたら、やっぱり退職金から使っていたとのこと。
使った理由は、浮気を一番に責めましたがそれは否定されました（高齢超デブなので、浮気とかではなく貢ぎかもしれません）
でも、何に使ったのか絶対に言いません。信用ができないから離婚だといったら、離婚でいいと言われました。どうせ離婚するなら理由なんて話す必要ないだろと。
（離婚になったとしても、カードの使い道については教えないと言われました）

いままでずっと、離婚しないできたのは旦那が他より収入がおおい人だったからです
（年収１３００万くらい）
１３００万というとすごいと思うかもしれませんが、家のローンもあるので別に海外旅行とか行けません。せいぜい年１，２でファミリーホテルに行くくらいです。
子供が少しでも豊かに暮らせるように自分のことは後回しにしてきたのに、
旦那は好きなもの食べて好きなもの買って好きな人にお金使っていて
我慢していた自分がみじめて仕方ありません。