職場に気になる人がいますが

恋愛感情ではありませんが、話していると楽しいなと思う男性が職場にいます。
職場ですので仕事に関係する物事以外をこちらから話しかけたことはありませんが、すれ違ったり組んで作業するような時に話しかけられることがあり、嫌いなわけでもないし単なるコミュニケーションなので無下にはできず、手短に返答して終わらせていたのですが...。

その男性のことをお気に入りにしているお局的な女性が他の作業しつつもこっちに入って来て文句や嫌みを言ったりしてきます。嫉妬なのかよくわかりませんが正直面倒くさいので、その男性に話しかけられるのが辛くなってきました。

○○さんがやきもちやくから止めた方がいいなどと言っても、そんなの主は気にしないでいいよと言われるだけで聞き入れてくれません。

出勤して見掛けからこちらから挨拶していたのも、仕事中は話しかけるタイミングが出来ないよう忙しなく、重いものを運ぶ手伝いをされないよう避けてしまい、申し訳ないのとちょっと寂しいような気がしています。

男性が私にだけ優しいわけではありませんが、お局か目をつけられてる感じです。男性を避けたくはない私はどうしたらいいでしょうか。