これ、わたし近い経験ある。結果的には辞めた。わたしの場合はめちゃくちゃ静かな職場で、ココめちゃくちゃ静かな（陰気な）職場だなぁ、と思っていたところ言われて驚愕した。
上司から言われている時点で印象払拭不可能だし、そんなこと言う仲間と頑張れないし、人とどう接していいか分からず正社員3ヶ月で辞めたよ。