これってもしかして避けられてる…？

仕事で休憩時間に事務所を使っています。
休憩スペースもあるんですが、少し距離があるし他の人達も同じ時間に使ってたりするのであまり使いたくなくて。
もちろん事務所で休憩してもいいと許可をもらっているし、私の他にも事務所で休憩してる人はいます。
ちょうど上司のデスクの横の社員用のデスクが空いてるのでそこでお昼を食べたり休憩してます。
休憩時間の間、上司と(上司は仕事をしながら)会話しながらお昼を食べたり休憩してたんですけど、最近私の休憩時間になると上司が席を外したり外出する事が多くなりました。
他の人が事務所で休憩するとそんな事はないみたいで、もしかして避けられてるんじゃないかな…と不安で。
もし避けられてるんだとしたら何が原因なんでしょうか？自分では全く心当たりがありません。