新築見たさにグイグイ来られて気の弱い主は断れなかったんでしょう？
「主人が潔癖症で人が来るのを嫌がる。この前は内緒で入れたんだけどバレちゃって大変だったから、しばらく無理なの」で良いんじゃない？

その代わり相手の家にも行かないこと。
そしたらお互いモヤモヤせずに済む。
頑張って自衛しなよ！