この人と一緒に出勤しないといけないのかな？

職場で出勤時間がいつも一緒になる人がいて、出勤前に休憩しに隣の店に行くのですが毎日約束したわけでもないのに待ってるんです！最初は楽しく会話してましたが、だんだん話題が悪口ばかりになり、気分がげんなりするので最近は違う場所で休憩してから職場に向かっています。
すると、その人は最近会わないからかめっちゃ怒ってきます。聞いてもないのに私って友達が多いのよとか、圧力みたいなことをかけたいのか言ってきます。
絶対その人と一緒に出勤しないといけないのかな？