勝手に来て勝手に帰るのならそれは一緒に暮らしているという感じではないような？ただの都合の良い関係だね
多分目を覚ますとは思うけれど、お灸は据えるべき

まだ主さんが旦那さんに気持ちがあるなら無理して別れなくてもいいし、必要ないと思えば別れたらいいと思う。

主導権を持ちたいのなら
とりあえず勝手に離婚届を出されないように事前に役所で手続きをする。離婚するかどうかは旦那に決めさせない。慰謝料や養育費はきっちり決める。

旦那の親が味方になってくれそうなら交えて話し合いをする。
こんなところかな？