それは悪口とは違うと思う。嫌いになる理由がちゃんとあるんだし。
うちも似たようなこと言ってくるけど、「嫌なことしてくる人と無理に仲良くしなくていい。でも優しくして。意地悪をやり返したり、きつい言い方するとあなたが悪くなるから。」って共感して言ってる。