いつも周りから人がいなくなる

家族への愛情はとても強いと思います。
他人への思いや情が熱くなれません。
この人はこのコミュニティ付き合い、この人は仕事だけの付き合いと割り切れるタイプです。
休憩も1人で食べるのが好きです。
むしろ休憩中くらい1人になりたいのが本音です。
自分で言うのも何ですが、昔から容姿はちょうど良く褒められる方で、愛想も良くしてるので第一印象は好印象に思われがちです。
でも長く付き合えば付き合う程、人への思いが薄い事がバレて周りから人がいなくなってしまうんです。

独身時代からつい数ヶ月前まで、大人数の会社にいたので私の様な淡々としたタイプも一定数いたのでこなせてましたが。
家事育児の都合で近距離の小規模の会社に転職しました。
小規模のせいか此処は職員同士の距離がとても近く、私は変わった人扱いされてると思います。
他に転職も考えましたが、私自身の性格の問題だと思うので。
どうすれば人へ思いが強くなれますか？
これも努力次第なんでしょうか？