職場で言われた悪口、私の気にしすぎ？

先日、眼鏡をかけて仕事に行きました
そしたら、同じ時間帯で働いているAさんから「主さん、目も悪かったんだね、顔も悪いし性格も悪いしいい所ないね」と笑いながら言われました
一瞬、固まったのですが、他のパートさんも「Aさん、言い過ぎ～(笑)」「それパワハラ～(笑)」と笑っていたので、私も笑ってその場は流しました
だけど家に帰ってから、なんであんなこと言われたんだろう？と考えてしまいモヤモヤしてます
Aさんや他の人に特別なにか意地悪をしたことはなく言われる覚えがないです
ただの冗談？私の気にしすぎ？
同じ立場になったらどう対応しますか？