敷地内別居なら良いと思ったけど、たまに兄宅の庭で遊んでいて、義姉に面倒を見てもらってる。これがダメなんじゃない？

預けるならば兄宅には行かないように子供と実母に言わなきゃ。義姉にも面倒を見てもらっているならば嫌な顔をされても仕方がないでしょ。