常識は関係なくない？

主さんが留守の間に夫が物理的に家事を回すゆとりがあるかどうか？じゃないの？

主さんが専業主夫で、夫が多忙な仕事をしてて家事もままならない状態ならありだと思う。
あくまでプライバシーを尊重してもらった上で日常的な掃除・洗濯・炊事であって勝手に持ち物を触らない物の場所を変えない。立ち入りは週末の夫がいる時間帯に限る。とか

主さんが嫌なのは理解出来るけれど、夫が生活がままならない状況が想像つくなら考えていいと思う。
物理的に厳しくて、不健康・不衛生な生活をされて帰宅したらゴミ屋敷で主さんや赤ちゃんに負担がかかるのもね。

近くなら、夫に平日だけ実家に帰ってもらって週末は夫に掃除してもらうとか。

二人の家庭だし二人の赤ちゃんだし夫婦二人でやれるに越したことはない。
けれど
あれも嫌これも嫌で追い詰められた生活をさせるのは違うと思う。