職場で、感じが悪いと言われる…

男性恐怖症ではないかと思ってる。
昔から男性と話すのは得意ではない。長いブランクを経てパートをしているので、余計に慣れない。

ある男性と話した直後に、感じ悪い、嫌な感じがする、と直接言われた。
雑談に対する反応が薄い、素っ気ない、話しかけるなという態度が出ているみたい。
他の人がフォローしてくれたけど、いざ言われるとショックで。

誰とでも全くうまく会話ができないわけではなく、波長が合う人や、友達、仲良くなれたママ友等とは普通に明るく話せる。
基本的に人見知りで自分に自信がないので、誰とでもフランクに話せるタイプではない。特に男の人の目を見て話すことが苦手。

コミュ障はどうしたら治る？
こうしたら良くなった、心掛けていることがあれば教えてほしいです。