不在時、義親が家に入っていた

不在時、義親が勝手に家に入っていることが発覚しました。
それも度々です。
すぐに鍵を返してもらいましたが、それでも合鍵があるのか入っている様子がありました。
なぜ入るのか？
と直接義親に聞いたら、最初は入っていないと 言っていましたが、入っている動画を見せたら
ただ どんな生活をしているか見たかった
と言われました。
今は鍵を全て交換しています。
これを理由に疎遠にできますか？
旦那からは
鍵を交換したのだから疎遠にまでする必要はないのでは？
と言われています。