私は優しすぎる？アホ？

真剣に相談です。

うつ病、パニック障害の旦那から、離婚してほしいと言われています。
旦那は3年間無職です。
普段は外へは1歩も出ませんが、たまにネットで知り合った女とカラオケやラブホに行きます。女の数は3人ほど知っています。
旦那は本当に何もできません。世間知らずのお坊ちゃん気質です。
離婚受け入れたら、廃人化するのは目に見えています。
今は私が働き、子供3人と旦那のめんどうを見ています。
毎日のように離婚しろ！と言われ、離婚しないと答えると暴れます。
皆さんなら、見捨てて離婚を受け入れますか？
真剣に意見がをお聞きしたいので、よろしくお願いします。