同僚に告白された後の対応（お断り後）

もう困ったから相談させてほしい。
自分四十代　子ども成人済み旦那あり
相手三十代　既婚者子なし

同じ職場で1年働いて突然告白され、もちろんお断り。自分の態度が誰にでも優しい八方美人タイプなので、それで勘違いされてしまったのかなとそれ以降は少し気をつけて、なるべく普通にしてきました。
が、告白から3ヶ月4ヶ月が経ちお相手から避けられてて辛いと言われました。
誰だって職場で告白されてしまったら以前と全く同じようには対応できませんよね。
波風を立てないように、避けてないです気にし過ぎないで下さいとだけ伝えましたが泣きそうな顔で言われてそれ以上何も言えませんでした。

メンタル面で少し弱い方で、仕事にかなり影響が出ているようで職場でも度々話題に上がってるんです。それ私のせいですなんて言えないですし、上司に相談して逆恨みされても怖いので誰にも言えてません。
同僚の女性はみんな噂話が大好きな同年代しかいないので絶対に相談出来ないし、正直こっちだって辛いよと本人に言いたいくらいです。
でもお相手はガタイも良くて不機嫌だと乱暴な態度になったりするのでやっぱり怖くて何も言えません。

一回お相手ときちんと話したほうが良いと思いますか？それとも上司に相談するべきでしょうか？何もしないのが一番でしょうか？
皆さんの意見を聞かせて下さい。