私は精神障害です。
人とは関わらない様にしています。
正直なところ、自分に悪気がないと思っているあたりは、問題があると思います。
主さんが、会社で必要であれば、辞める必要はないと思います。
しかし、主さんが問題で、人が続かないのであれば、自分の事を少し振り返ってみてはいかがでしょうか？