職場で嫌な噂を流された

派遣で働いている主婦です。夏くらいに中途採用で10歳ほど下の男の社員が入社してきました。
私もまだ一年ほどしか今の会社で働いていなくて彼は私の仕事と関係する業務なのでしばらくは私が教えるようになりました。といってもべったりいてるわけではなく、書類の入力や倉庫での資料整理などです。若いのと優秀なのですぐに覚えてくれて私の引き継ぎも終わり来月から違う業務になるのですが、彼は人見知りなのですが、はっきりした口調で誤解されやすいようでラインのパートさんたちには感じが悪い子といわれていました。私とは毎日仕事を一緒にしてうちの家族の話や子供の事なども合間に世間話で話すようになっていたのですが、パートさんとはほとんど話しませんでした。業務に関わりがないので。ある日パートさん
たちがあのひとにだけ優しい。二人は怪しい関係だといわれもちろん全否定しましたが噂されもちろん二人とも全くその気はありません。パートのおばさんが私に怪しい二人とか言い出して嫌で嫌でたまりません。パート
上司に相談しましたがただの普通の引き継ぎだけどパートさんは噂好きだからそっとしておこう。弁解してもややこしくなるといわれました。

本当にお互いただ仕事をしていただけでなぜこんな事をいわれないといけないのか辛いです。