お正月の帰省は取りやめるべき？

結婚してからずっと自分の実家に帰省できていません。理由は実家に兄夫婦が同居していて兄夫婦が長年不妊治療を行っているが結果が出ず、私の子供たちを見たくないという理由です。
私の第一子出産の前に義姉が流産したこともあり、里帰りも遠慮して実母が手伝いに来ることも出来ませんでした。それ以来ずっと義姉に気を使っていましたが、義姉と実母が喧嘩して同居を取りやめるか、義姉と兄が離婚するか、みたいな騒動になっていました。
結局、義姉が土下座までして私の両親に同居継続して不妊治療を続けたいと言ってきて、両親が突っぱねることが出来ず同居継続ということになりました。
私は子供を連れて初めて実家に帰る予定でしたが、旦那が「こんなに揉めた義姉がいる家に帰ると子供たちが不快な気持ちにならないか心配」と言ってやんわり反対してきます。
旦那は私が自分の実家に帰省するのが気に食わないとかではなく純粋に私と子供たちが心配ということです。どう思いますか？

私、実母と義姉が揉めた経緯は前のトピを参照してください。

https://mamastar.jp/bbs/topic/4486730