お昼休憩を同期と取りますか

入社時に部署は違いますが同期がいました。

お昼休憩に同じ部署の話しやすい人と話しながら食べていたら『なんで同期とお昼食べないの？』上司が来て言われました。
通常なら同期とお昼取るのでしょうか

今まで同期いなかったのでどうするべきなのかわかりません
同期とは部署違うし働く場所も違います。