主と一緒に仕事をしたくないと言われたので離班したのだけど

昨年度入社の人と新入社員の補佐的な立場で同じチームで仕事をしていました。もちろん、自分の仕事は持っています。
その新入社員から年末に
主さんが言っていることは確かに正しいけど、こんな言い方されたら一緒に仕事をしたくない
と言われたため、私も事実上仕事が増えていたので
それなら
と離班しました。
先日、その新入社員から謝罪され、(本人は謝らなくてはいけないことが嫌だったみたいですが)
チームに戻ってきて自分の補佐をして欲しいと言われました。
今、考えさせて欲しいと言ってあります。
新入社員のいるチームの人達からは
戻ってきて欲しいと何度も言われていますが、上司は
新入社員の態度が改まったわけではないから、主ではなく別の人に主がやっていたことをさせた方が良いのでは？
とアドバイスをいただいています。
因みに、私のあとに新入社員の補佐をした人も離班しています。
私に対して、そんなことを言う新人とは一緒に仕事をしたくない気持ちが強いので、戻るつもりはないのですが、なぜ私や私の次の補佐役が抜けていっているのか分からない新入社員には どう対応したら良いのか困っています。