そもそも挨拶がどうこうのまえに、既に陰口言われてると思うけど。主さんが悪いとかじゃなくて、そんな意地悪な人たちなら陰口悪口は当然誰のことでも言ってると思うんだけどな。
よって、深く考えることは無駄だと思います。「お世話になりました、ありがとうございました」と抜ければそれでいいと思う。