場を白けさせる力があるんだけど、どうすれば直る?

私がいる、喋ると場が白けてしまいます。
一つのコミュニティ内だけでなく、職場・ママ付き合い間・習い事の親の会・悲しい事に保育園の先生達からも対応が冷たいです。
私のせいで子供まで蔑ろにされてなきゃいいなと毎日思ってます。
誰かを虐めたり、変な冗談も言ったりしてなく、普通にしてます。
仕事もほぼ失敗する事なく、任せてもらえてます。(放任されてると言う言い方もありますが)
自己分析すると、気の利いた事や、その場が一瞬でもパッと賑わう軽いジョークが下手なんです。
同じ様にジョークが苦手そうですが、ザ真面目って感じや、ユルユル仕事してる同僚の方がみんなとちゃんとコミュニケーションとれてます。
保育園や習い事関係では私は挨拶のみ、他の人達はそこから雑談してます。
これが先生達もなんで、けっこう辛いです。
他の親には子どもの帰り支度させてる間に「今日こんな遊びして、アレ出来ました！」とか話してるのに、私には挨拶だけで子どもの身支度も「じゃ、お母さんお願いしますねー」と言ってすぐ部屋に戻るんです。

誰にでも優しい・明るいって雰囲気の人も最初は話してくれたけど、最近は私が近づくと会話をやめようとしたり、顔が強張ったりとテンション下げさせてるのが伝わります。

狭い町でアチコチで人の繋がりがある田舎なので職場・習い事・保育園何処からともなく
「あの人って接しにくい人だよね」
と言う噂が広がってるんじゃないかと被害妄想すら浮かびます。

何をどう直せば良いかわからないんです。
何かしたとかでなく、何もしてないからって嫌われるんですか？
その他大勢の1人ではなく、避けられる人にまでなり下がってしまい家族以外の人と接するのが本当に辛いです。
子ども達が大きくなったら、子ども達からも捨てられるかもしれません。