顔見知り程度の人から「家に遊びに行きたい！」と言われたら

ある講座に通っていた時の話です。

たまたま同じ町内に住んでいる女性がいて、引っ越してきてまだ日が浅かった私は治安のことなど色々聞いていました。

その中で建築中の我が家と女性の家が近いと判明。
偶然だね～みたいな感じの中女性が「家が建ったら遊びに行きたい」と言ってきて驚いて思わず無言になりました。

多分相手は社交辞令で言ってきたのだろうけど、真に受けた私は親しくない人がいきなり家に遊びに行きたいと言ってくるのはちょっと…と怖くなりそこから距離を置きあまり会話をせず。

社交的で良い人だったから悪いことしたなと思ったけど、どう返せばよかったのか未だに思いつきません。

皆さんだったらどう対応しますか？
今後同じことが起きた場合の参考にしたいです。