どこにでも他人の事を言ってる人はいるし、例え自分の事を言ってるのが聞こえてきても、気にしない方がいいと思うよ。
私も今のパート先でも、たまに自分の事を言ってるのが聞こえてきたりするけど、挨拶だけしっかりして後は仕事に集中して割り切ってるよ。