パート先の先輩が鬱陶しい…

1週間ほど前に、パート先で数人で残業をしました。
私を嫌っている先輩のミスで調整しなきゃいけない部分が出たからです。

その次の日、私だけ少し早く出勤すると、その先輩から「貴方昨日残業したんだって！？だめだめじゃーん！」と嬉しそうに言われて…。
ぷつっと何かが切れて、何故残業しなければいけなかったのかぶちまけてしまいました。
日頃の鬱憤も溜まっていたので大声を上げてしまったのですが、言い終わるとバツが悪そうにもごもご言っていました。

職場の空気が悪くなるかと思って嫌味もスルーしてたのですが、今はその人の姿が見えると移動したり無視したりしています。
幸い私の味方になってくれる同僚や他の先輩がいるのでやっていけてますが、迷惑をかけていることは事実なので、もう辞めた方がいいのか悩んでいます。
その人以外の人間関係は良好です。