こんな人どう思いますか？

仕事が終わってから、ゴルフやフットサル等、スポーツをして自然とご飯の流れになる日が多いのですが、決まって「ご飯だけ参加したい」という人がいます。
控えめであまり発言をしない人で、ご飯の席ではみんなの話に入ってこず、隣の人を捕まえてずっと2人で話をしています。

誘われたわけではなく自分から参加したいというのであれば、もっと頑張って話を聞こうとするなり、協調性を持ちなよと思うのですが、周りはそんな不満はなさそうに見えて、自分の性格が悪いのか、と誰にも話を出来ずにいます。

皆さんは気になりませんか？
また、気にしないでいられる方法があれば教えてください。