初めて会った人の名前が覚えられない。失礼？

私は昔から人の名前や顔を覚えるのが苦手で、よほどこの人素敵だな、仲良くしたいなぁって興味を持った人以外一度会っただけじゃ大抵忘れてしまいます。
去年子供が幼稚園に通いはじめママ友の集まりや保護者会に参加する機会が増えたのですが
何回か会わないと忘れちゃうので２回目に会った時「はじめまして～○○です」って言っちゃうことが何度かあって恥ずかしい思いをしました…。
道で声かけられても誰なんだろこの人…って思いながらなんとか話に合わせてます。
さすがに2、3回会えば覚えてますが1回だけじゃなかなか難しい。
やっぱり感じ悪いですよね？？