家族のいない旦那と離婚できますか？

旦那と離婚考えています。正直、旦那の考えは異常で限界だと思っています。
ですが旦那には家族と呼べるような家族がいません。
義母は亡くなっていて、義父と義姉とは疎遠です。義姉とは会った事すらありません。親戚などもいません。なので旦那は私と子供達が居なくなることを嫌がりますが、おかしな考えは簡単には治りませんでした。でも前に家出したときには、俺には身内もなにもない、ひとりぼっちだから居なくならないで。と言われた事があり戸惑ってしまいます…。でもそんな事関係ないですよね？ひとりにならないように努力できなかったのは旦那なわけですし…。けど私には身内や家族がいないだなんて考えられないので、すごくひどい事をしようとしているんじゃないがと思えてきます。
身内のいない旦那と結婚したからには我慢すべき事なんでしょうか？