仲良くなりたいけど

38歳です。
人(特に女性)との距離感というか仲良くなれる方法が今だわかりません。　
学生時代にハブられたのがトラウマになってるのか、元から距離感がおかしかったからハブられたのか、どちらが先かわかりませんが。
仕事上のコミュニケーションは問題ないと自負してます。
わりとイエスマンだし、勤務年数長いのもあり仕事は早い方なので。
ただ雑談が苦手です。
相手によってはテンパったり余計な事を喋り過ぎたりするんです。
だから静かに黙々と仕事してます。

仕事断ったり作業遅いのに人気あってアチコチから雑談振られる人を見ると態度には出しませんが羨ましいなと思います。

正直私もそうなりたいです。
どうすればいいのか教えてほしいです。