10年以上の週末婚

旦那と10年以上にわたり週末婚を続けていました。
私が義実家で同居できなかったためと義両親が旦那を手放さなかったためです。
義両親と暮らさなくてはいけないなら離婚するとまで私が言ったら、この生活スタイルになりました。
コロナ前に義父が鬼籍に入り、義母と旦那でいましたが、義母が施設に入ることになり、旦那が こちらに戻ってきました。
しかし、今まで週末しかいなかった人が毎日家にいることに娘も息子も戸惑い、不安定になっています。旦那も子ども達の言動や思考に色々と気になるようで口に出します。
父親と祖父母の都合で週末婚をしていたに、またそちらの都合で元に戻ってこられても辛いと旦那に話をしたら、旦那が怒っています。
旦那は旦那で家では何もしません。義父がそうだったようで、高齢の義母に全てしてもらっていたようです。
しかも息子には旦那自身と同じようにするよう強要します。
子ども達は それも気に入らないようです。
私も子ども達と同じ考えで、最悪離婚するしかないとまで思っていますが、これが離婚理由にはなるのでしょうか？
旦那はこんなのは離婚理由にはならないと言い張っています。