イジメ程ではないけど何処のコミュニティでも避けられる

職場、学校・保育園・習い事の親の付き合いなど。
みんな大人ですからわかりやすく虐めをしてくる事はないのですが、何処に行っても避けられてしまいます。
私のコミュ力がないと言えばそれまでですが。こちらから話し掛けても質疑応答の様になり、話が広がりません。
私からも広げようとしても、相手の方が一言だけか「へ〜」「そうなんだね」で終わらせられます。
集団でいる時なんて露骨で私が1人の人に話し掛けたとすると、挨拶からのちょっとした世間話まではいくのですが、「ちょっと用あるから〜」と別の人の所へ行きそのままだったり。
更に露骨過ぎる人は私が近くにいるだけで離れて行くパターンもあります。

こんな多数のコミュニティで避けられるのですから私自身に問題があるのはわかりますが、肝心の原因がわかりません。

体臭や口臭はないと思うし、服装も普通だと思うんですが。
肌質は毛穴開きが目立つタイプで、体型はお腹は出てませんが、中年特有の下半身と肩幅が広がって首が短くなってきたズングリムックリ体型です。

トークスキルや雰囲気に特に問題があるのかもしれません。
最近、(特に職場で)避けられ過ぎて精神的にキツく感じてきたせいか思考能力や記憶力がおかしくなってきた気がします。
本当に悪循環ですが、どうしていいかわからないのです。

1人でいれる強さはある方だと思ってたのですが、子ども達関係でも私がこのままでは、子どもに間接的に被害がいきそうで。
それを考えると本当に病んでしまいます。

似た様な感じから立ち直った方のアドバイス聞かせてほしいです。
また、私の様な人が周りにいる方いれば、なぜその人を避けてしまうのか聞かせてほしいです。