パートが続きません。敵意を向けられる理由…一緒に考えてほしいです。

40代で、この5年間で3回パートを変わりました。
どれも半年から2年で辞めています。すべてフルタイム事務パートです。
そして今のパートも今月末で退職予定です。
続かない理由は人間関係です。
どの職場でも、特定の同性社員さんから敵意を向けられます。

どなたか私がパート先で敵意を向けられる理由をご指摘いただければありがたいです。

・仕事を覚えるのは早い方だと思います。（ごく簡単な一般事務なので難しいことはできませんが）
・意欲もある方だと思います。

意欲的だし仕事もまあまあ早く覚えるけれど、すごく仕事ができるかと言われたらそういう訳ではありません。
社員さんからすると、期待値だけ高くてイライラするのかな、とも思ったりします。

自分でも何となく分かるのですが、その業務の大まかなルールや仕組みを理解するのが早いため、おそらく仕事の覚えが早いと思われているのだと推測します。
実際に何人かの同期入社のパートさんと比較してそう思いました。

直近の職場では、明らかに同期パートさんよりも仕事を覚えるのが早かったため、同期に比べて仕事を振られるようになりだんだんアラが露呈した、という感じです。
すごく仕事ができるわけではないので…
そして特定の社員さんから明らかな敵意を向けられる…という流れです。

3回も続くと自分自身に原因があるのは確かだと思えるようになりました。
上に書いたのような私の推測は合っていると思いますか？

長々とすみません。

非常に落ち込んでいるため厳しいお言葉は控えていただけるとありがたいです。