義兄嫁から「夫婦で話し合って！」と言われた

先日、義実家に夫と子供達だけで遊びに行ったのですが、義父母と玄関は共有の2世帯住宅で同居している義兄嫁から「子供達がこちらに入ってきて迷惑」や「ご飯の時も私一人で子供達を見てる」と言われ「あなたが来ないのは自由ですが、こういう事は家で夫婦で話し合って！」と言われました。

ここ数年、私は義実家に行っていないので夫と子供達に聞いたら義兄夫婦の子供達に「良いよ」と言われて義兄夫婦の住居スペースに入っている事と夜、外食の時に子供達はみんな一緒の席が良いと言って子供達だけには出来ないから義兄嫁がついてると言われました。

夫には自分の子供の事は父親で夫が見るように言いましたが、普通にその場で言えば良くないですか？
しかも部屋に招き入れてるのは自分の子供なんだからそっちで注意すればいいのに。
私はその場に居ないのに言われても困るわ。