主が｢(離婚)したいならいつでもしていいよ｣と答えた会話、録音とかされてない？仮に旦那が出て行った場合、それを証拠に離婚前提の別居だったと認められ、何年後かには離婚認められちゃうと思うよ。
会話が録音されてなかったとしても、別居期間が数年経過すれば離婚が認められる。
離婚を先延ばしにするか、旦那に愛されていないという現実を受け入れて、今離婚したほうが主の為でも子供の為でもあると思うよ。