気を遣って喋らないといけない？

職場のお昼休憩は何人かでします。私は普段よく喋るほうではなく、喋りたいなと思ったら自然に喋るほうで別に誰も喋らずにシーンとなっている空間も気にならないタイプです。
よく話題をふってきたり自分の出来事を話してくる人がいて、それを聞いたりちょっとそれに対して答えたり笑ったりすることが多くて私はなんとも思っていなかったんですが、その人が裏で「私、シーンとなっているあの空間が嫌いだから一生懸命喋っているのに、あの人はそんなこと考えてないでしょ？気を遣って喋るなんて」と言われていました。
なんかショックでした。気を遣って話をして盛り上げたりしないといけないもの？