音は小さくしてくれたんでしょ？それで文句言われちゃね…。寝てる部屋で見てた訳じゃないんでしょ？
うちは旦那の帰宅時間はまちまちだし、家の構造上寝室の隣が仕事部屋で寝かしつけの時にガサゴソ仕事したりしてるけど邪魔されてる感覚はないよ。
眠くなったら寝るんだから、しばらく子供の様子観察する意味で無理に寝かしつけるのやめてみたら？