親戚同士の交流

私には兄と姉がいます。それぞれ結婚して家庭があるのですが、それぞれ実家の近くに暮らしているため、ちょくちょく実家で集まります。そこでの兄の子との交流について悩んでいます。

私は年長の息子がいます。兄には小2と年中の女の子がいます。息子はいとこの子たちと遊ぶのがとても好きで、一緒に遊びたがります。ですが、兄の上の子はうちの息子と合わないようです。

先日、実家で集まっていた際に息子と兄の上の子がリビングで遊んでいました。私は和室で兄の下の子と遊んでいました。すると、上の子がこちらの部屋にきて「〇〇くん(うちの息子)と遊んでいると時間が溶ける」と言いました。リビングで2人オセロをしていたのですが、息子が打つのが遅く、イライラさせてしまったようです。その後、和室に息子が来るのを嫌がる素ぶりを見せていました。
結局息子は和室に来たのですが、私が間に入ることで仲良くみんなで遊ぶことができました。

兄は実家に集まる際、私にも声をかけてくれるのですが、息子を連れて行くとまた兄の子に嫌な気持ちにさせてしまうのではないかと心配しています。私が間に入れば大丈夫そうですが、息子が嫌がられているのを見ると私自身悲しくなってしまいます。

今までは兄家族が実家に来る時はほとんど私も行って、子ども達と遊んでいましたが今後はどうしようかと思っています。
嫌がられる時もあると割り切るか、少しずつ遊ぶ頻度を減らすか皆さんならどうしますか？