姉の義母に街中で出会ったとして、私は気付きません。お会いしたことは2度程ありますが顔もうろ覚えです。(遠方なので街中で出会うシチュエーションは先ずありませんが)

関係性から言えば"遠い"のですから、目くじらを立てる必要性を感じません。
そんなことを言われる義姉さんが可哀想だと思います。