認知症の人からすら嫌われる

デイサービスで働いていますが、トピの通りです。
私が話しかけようとすると、ある程度しっかりした方は丁寧にお断りを入れます。
他の職員が行くとちゃんと会話をしてます。
認知の強い方は私が近付くと顔が強張ったりテンションが下がるんです。

こんな感じなので私も戸惑ってしまい、利用者様が更に不穏になる時もあるので、私は雑用みたいな事を最終的に押し付けられます。

最近は私が出勤することすら他の職員にとっても迷惑なんじゃないかと思ってしまいます。

元から人間関係上手く築けないタイプでしたが、認知症の方からすら嫌われるなんて。
私に何か問題があるんでしょうが、40手前にしてわかりません。