年収4000万の旦那と離婚するかしないか...

結婚して10年、子供は３人います。
会社経営の旦那ですが、週4～5は仕事の飲みで夜中3時頃帰宅。たまに家にいたかと思えば子供と遊ぶ事もなくダラダラし、子供が何かをすれば怒ったり不機嫌にしていたりで本当にイライラします。自分は稼いできているので感謝しろと常に偉そうな態度を取っています。
そんな俺様の態度が３人目が産まれて酷くなり、もう私も旦那の性格に限界がきて離婚を考えるようになってしまいましたが、１人で３人の子を育てる覚悟ができず。
やはり我慢しかないのでしょうか。

ちなみに生活費は住宅ローン以外の支払を含め40万しか貰っていません。旦那はバツ２です。