私が小さい頃、うちの父がそんな状況だった。
でも母は、深夜に帰ってきた父が私と兄を起こさないようにそうっと撫でたりしてる姿を見るのがたまらなく愛しかったらしい。
もしかしたら旦那さんもそうやってお子さんを活力にするかもしれないから、旦那さんときちんと話してみたら？