人間関係悪そうなパート先、辞めるか否か

先月からから始めたお弁当屋のパートなんですが、女5人で人間関係が悪いです。
大体毎日一人ずつ休みの4人体制。
一人の人が嫌われてて、休みの日は悪口を言われてます。
初日に一人からあの人とはあまり喋らない方がいいよ、と言われて、ココやばいかも…と思いながら様子を見ていましたが、店長含めみんな意地悪です。
今のところ怒られることもあるけど、丁寧に教えてくれます。
嫌われてる人は私から見ると普通の人に見えます。どちらかと言うとタイプ的には私に近いタイプに思えて、いずれ私もターゲットにされそう…と思ってしまいます。
嫌われてることは本人は気付いてないようです。
その人が話したことを悪意のあるように受け取って、いない時に「きのうあの人こんなこと言ってきてなんなの！？」「えーそうなんですか！」と盛り上がります。いやいや、そんな感じに言ってなかったじゃん…と辟易します。仕事に集中して聞こえないふりをしてるけど、気が滅入ります。