そんな家族が入る時間帯を許可するのが間違い。
入るなら午後、夕飯前に来て帰ってもらう。こちらの食事の時間以降は家族の時間なので立ち入ることは認めない。来られないなら自分の家か銭湯いけ、くらいは言ってもいいと思う。
旦那は家にいる時間が少ないからストレスないんだろうけどさ、いい迷惑だよね。