敷地の中に別棟で家をたてて兄夫婦が住んでる場合だよね？なら親が住んでる家は実家で良いと思うけどダメなの？
家が別で存在するんだし実家に帰ったからと言って、兄嫁さん子供をつれて出てこなくていいよ。一緒にご飯食べよう的なのも要らないと思ってる。

これが１つの家に兄夫婦が同居してるなら遠慮するべきだと思うけど。