職場にて。私が席を立った時に勝手に男性が座る

昼休み中に勝手に男性（既婚者）が私の席に座ってて、仲がいい女性職員と一緒に喋ってた。
会話の邪魔するのも悪いしご飯も食べ終わってたから男性が席を立つまでお手洗い行ったりして時間を潰してたんだけど、話はなかなか終わらず男性は時間ギリギリまで席を立ってくれなかった。
廊下に出て話すなりその女性の席に行くなりすればいいのにって思ったんだけど、他の女性上司に相談したら「そんなに嫌がる方が変じゃない？器ちっちゃいねー」って言われた。
これって私の器が狭いのかな？
皆は男に勝手に席座られても平気？
ちなみにこの男性はセクハラ的な言動をするタイプで。身体を密着させてきたり意味なく指を触ってきたりする人。抵抗したらニヤニヤされる。