小4は本当のイジメを覚える時だと思います。
1.2年からかうイジメとか3年生は個人で関わらないとかはあります。4年生からは団体でイジメを覚える時期で『あいつと口聞くな』あります。

子どもにまた来ない子と遊ぶ時は『次からはどちらかの家集合にしよう』みたいな事を言わせた方が良いと思います。