自分と合わないと思う人とは離れろ

職場で いつも一緒にお昼を食べていた数人がいます。
そのうちの1人がどうしても私は苦手だったので、私は その人達とお昼休憩を一緒にしないことにしました。
すると、徐々に他の人達も個々でお昼休憩をを取るようになったみたいです。
私は、最近ではいつも一緒にお昼を食べていた数人の中の人と２人で食べています。
すると、私が苦手だと思った人が、社内の相談係に
誰も一緒にお昼をしてくれなかった
と相談したらしく、相談係から
以前のようにみんなで仲良くお昼を食べたら？
と 小学生の先生のように言ってきたのですが。
相手は一人ぼっちにさせられたと言っているよあです。
別に無視したわけでもないですし、必要があれば会話もしています。
今の会社って休憩時間中に好きに過ごすことも強いられるのですか？