不倫してる人に聞くんだけど不倫相手を家に呼ぶのってダメ？

外で会うのもどこで誰に見られているかわからないし危険だから、平日の誰もいない時間帯に家に来てもらって会っています。
相手の人は自営業だから時間はあって、平日の午前中からでも時間は作れます。
そのことを友達に話したら、不倫するのはどうでもいいけど家に連れてくるのはルール違反だし家族が可哀想だからやめた方がいいと言われました。
外で会っていて誰かに見られたりするのは怖いし、周りが気になって楽しめないからどうしたらいいですか？