苦手もしくは嫌いな人が義実家(妻の実家)に住んでいたらやっぱり行きたくありませんか？

夫が私の実家に行きません。
実家には両親の他に妹、妹の旦那、その息子(3歳)が住んでいます。(姓は旦那です)

夫は最初はよく実家に遊びに来てくれていたのですが、妹旦那に人として最低なことをされ、妹も旦那の肩を持ち、大揉めしたことがきっかけです。
(悪いのはどう見ても妹旦那です。)

一応、私が間に入り解決はしたのですが、妹旦那の態度が相変わらずで「悪いけどアイツがいるなら行かない」と言っています。

私は姉妹夫婦同士、そして子供もお互いにいるので仲良くして欲しいのが希望です。
なので「年齢も少し重ねて変わったと思うよ？」と言うと旦那は「人は簡単には変わらない。特にアスペは無理。だいたいいつまで実家に居座ってんの？実家に甘えすぎだろ」と言っています。

妹夫婦は地元の同級生同士で、結婚してから地元のアパートを借りてましたが4年くらいで子供ができたことをきっかけに経済的理由でアパートを退去して妹の実家に入り、今に至ります。

やはり仲良く一緒に過ごすことは無理なのでしょうか？