先ずは上司に相談。とにかく、これ1番大事でしょ。
他にも同じ部署の同僚とかにこういう事が続いていて困ってるって相談実績を作っておくこと。

このまま断り続けて、相手が実力行使に出た時にちゃんとこちらの言い分が聞いて貰える下地は必要だよ。例えばだけど、ほんの一瞬でも2人きりとかになった時にご主人にセクハラされましたとか言われた時にさ。