甥っ子と義実家で会いたくない…って差別かな

旦那の弟夫婦の3歳になる甥っ子が発達障害だそうです。私と旦那は直接そのことは話されておらず、義母から発達障害の診断が出たそうだ、くらいにしか聞いてません。ただ、義実家で会う度に癇癪と暴力が酷く、診断が出たと聞いても驚きませんでした。
義母から聞くには癇癪も暴力もパワーアップしててうちの子供達に危害があると大変だから顔出す日をズラしたほうがいいのでは？と提案があり、私はそのつもりでいたけど、旦那から「そんな差別的なこと言うと思わなかった」と言われて凹んでます。
発達障害だからということではなく、手のつけられない暴れん坊だから子供を危険に晒したくないだけと説明しても「大人が6人いるんだから3歳の子が暴れてもなんとかなるだろ」と言われてます。
去年は同い年のうちの娘の玩具をとりあげようとしてきて、私が仲裁に入ったのですが、私が思いっきり噛みつかれて正直、甥っ子が怖いです。本気で噛みつかれて噛み跡も3日くらいは残ったし、あれが子供にされたらと思うと本当に嫌なんです。小さい子相手に一度噛みつかれたから会いたくないって思っちゃ駄目ですか。