隣のおじいさんが気持ち悪い

私が玄関先や駐車場の掃除などをしていると、高確率で出てきて気持ち悪いです。

去年の今頃、お隣さんが引っ越してきました。
70代くらいのご夫婦と、息子さん夫婦との同居のようです。

最初は会えば「こんにちは」と挨拶していました。
ただ3ヶ月くらい経った頃『頻繁に顔を合わせてる気がする』と思いました。
少し気味が悪くなり会いたくないと思ったので、今までは決まった曜日と時間にしていた掃除を

曜日を毎回変える
時間もバラバラにする
外に出る際、おじいさんが出ていないか確認する
いないことを確認して外へ出る

こうやってするようにしました。
それでも、10回中8回は、おじいさんが出てきます。
おじいさんが出てくる用事は

ポストの確認
プランターいじり
玄関から駐車場を通って庭へ行き、洗濯物を取り込む
髭剃り

です。
ただ3つ目の洗濯物に関しては、駐車場を通らなくても庭へ出れる部屋があるので、玄関から出てくる理由は不明です。
間取りが分かる理由は、家の造りがほぼ一緒の為です。

それに少し前わが家は一部リフォームをしたのですが、荷物を何度も運び出すために、玄関を開けっ放しでした。
そうしたら、おじいさんが自身の敷地内から、わが家を覗き込んでいるのを見てしまいました。
物珍しいのは分かりますが、挨拶しかしない関係の家の中を覗き込むなんて、本当に気持ち悪くて、、、。
施工して頂いた大工さんにも、何かとわが家のことを聞いてきていたそうで、詮索されているようで余計に気持ち悪いです、、、。

このようなお隣さんには、どう対処するのが正解なんでしょうか？
私はリフォームの事があってから、拒否反応がすごくて一切挨拶をしていません。