旦那の実家でもあるのに何で遠慮しなきゃいけないんですか？

月に２回～４回ほど週末に義実家に帰省してます。
義実家にはお義兄さん達が同居してます。
旦那は本当に実家が大好きで忘年会や新年会は義実家で開いてますし年に数回お泊まり会なんかもやってます。
義実家は元お店屋さんだったものをお義兄さんがリフォームしたから部屋数も一般的な住宅より多いしリビングも広いので問題ありません。
義両親も喜んで受け入れてくれてます。
昨日も帰省したらお義兄さんからもう少し帰省の回数を減らしてくれないかと言われました。
理由として言われたのは週末お義母さんが出かけられないとかお義兄さんの娘がお年頃で今までみたいに生活を制限させたくない等色々言われました。
あとかなり前に義実家で引き取ってもらったペットの事でもお説教されちゃいました。
とは言ってもここは旦那の実家でもあるんだから私達だけが遠慮や我慢をするのは違うと思うんです。
文句があるならお義兄さん達が義実家を出ればいいと思いませんか？
どうすればみんなで気持ちよく義実家を使えるんでしょうか…