コメント下さった皆さん、ありがとうございます。
やっぱりこの状況での同居は無理ですよね。
自分が冷たい人間なのかと悩んでいたので皆さんの
コメントに励まされました。
こんな夫ですが子供達は懐いていてパパ大好きなので離婚はなるべく避けつつ同居を回避出来る様に戦ってみようと思います。