5歳のいとこと仲良くできない息子

いとこと仲良くできないことを、親が認めてしまっていいのか葛藤があります。
このまま会わない方向に持って行っていいものか。
いろんな子がいるということが分かるからこその悩みです。甥にも良いところはあるのは承知ですし、それは息子にも伝えてます。
でも正直、もう付き合って行けないとは思ってます。

大人の仲裁は私しか入らない、旦那はここぞという時には注意します。義妹や義両親は甥にはほとんど注意しないです。
本当は義実家行きたくないし関わりたくないけど、盆正月くらいは行かないとだし、旅行に誘われることがあるのでそれには行かざるを得ない。(断っても日にち調整してまた誘ってくる)
もうゲームは持っていってないし、嫌なことははっきり断ることもしてるけど、なかなか分かってくれないです。

いろいろコメントありがとうございます。
もう無理に会わないほうがいいですよね。
私もそうしたいです。
親戚というところがネックで、関係は続くので我慢は必要だけど。

ここのところ、たまたま義実家に行くことが多くて、先日も旅行に行きましたが、甥の遊ぼう遊ぼう攻撃がすごくて本当に大変でした。
ちなみに、息子はじいじたちのことは好きで会いたい気持ちがあるので行くようにしてるのですが、義妹が離婚で実家に戻ってから甥も自動的に会うようになってしまい、相性が最悪で困っていました。
義妹は、息子に対して、お兄ちゃんなんだから遊んであげてよー、貸してあげてよーというスタンスだし、義両親も孫同士仲良くしてほしいので、嫌がっても関わらせようとするし、そういう狭間で葛藤してました。
義妹と言っても私より年上で、嫁という立場上甥に注意するにも限度があり、なかなか息子の事は守りにくい立場でしたが、これからもし会う時にはもう少し息子の立場もわかってもらえるようにやり方を考えます。