近所の人、そうだと知らなかった。謝るべきでしょうか

相談に乗って下さい。長文になります。近所の人に深刻なことを言ってしまいました。
地区の用事で、近所を回っていた時のことです。現在私が会長をしているので、家を回っていました。とあるお家を訪問した時、そこの家の女性がめんどくさそうに出てきました。以前何度もお会いして挨拶もお互いしているのに、顔を見てるのにどちら様ですか？っと聞かれて、名前を言ったら、それには笑顔で挨拶してくれました。私は何度もあってるのに腹が立って「以前から何度もあってますよ、顔覚えて欲しいなぁ」とそれとなく伝えたら、「別に仕事でもないし、覚えなくて良い人は覚えません。で用件だけお願いします。」と言われました。私はその対応に腹が立って、そのまま帰ってきました。
　先程、近所の友達にその事を愚痴ったら、「あの方目が悪くて、顔を認識できないよ？よく見たら少し動き方とかも違うよ。前にスーパーで声かけた時、あなたと同じように名前忘れてたから、○ですって答えたら、普通にごめんなさい、私視力が悪くて顔が認識できないのですって言ってくれたけどなぁ」と言ってました。人によって態度が違うのかと思いましたが、友人曰く、挨拶も普通にするけど、人見知りで苦手な人には少し目を逸らしたりしてしまうと。。確かに見た感じ優しそうな人です。
そこまでうちの地区は、近所同士関わる事はありませんが、いちおう謝った方が良いでしょうか？
でも向こうの言い方も少し、、きちんと話してくれたら良かったと。
どうしたら良いでしょか？