嫌ですなどと冗談で言っているというが、やらずに済むということは冗談になってないという証拠だよ。冗談だとしたら、そのあとちゃんと引き受けなさい。
他のパートから妬まれているのではなく、あきれられているんです。
言い返す言葉があるとすれば「すみません、これから改めます」です。