近所のおばさんからの詮索？こう言われたんだけど!!

一戸建て住宅に住んで半年です。
主は2ヶ月くらい前から、ほぼ毎日徒歩で近所のある場所へ行っています。(恥ずかしいのと知人がママスタをやっているので場所は控えさせてください)
先日、長年ここの区画に住んでいる近所のおばさんに会いました。
数日前にお子さんにどうぞとお裾分けを頂いていたので急いでいたけどお礼を言い立ち去ろうとしたら、『毎日車置いているけど、これからお勤め？』と聞かれたので監視されていると思い詮索されるのが大嫌いなのと時間が無く急いでいるのもあり『あ、はい～』と流す感じで答えたら『え？この近所にお勤めなの？』と更に聞かれたので『すみません』とだけ一言言い、その場を立ち去りました。
おばさんは『え？？』の顔してました。
私の対応は間違っていましたか？
旦那には急いでいるので失礼しますとか言い方あったと思うと言われてしまいました。
一生この家に住むので、今後そのおばさんに会うこともあるかと思います。
会った時にどういう言動をしたら良いかわかりません。
アドバイスお願いします。