それうちも同じだったよ。
小４だけど相手の子は発達に遅れがあって、友達が減っていくとうちの子に執着して、お母さんから常に遊ぼうと連絡があった。次第に仲良くしてる友達と約束してくるので、その子を断っていました。４年になった頃、お母さんにあなたの娘は全然遊んでくれないね！ひどい！いじわる！と怒って、金輪際遊ばせないからね！と逆ギレされました。腑に落ちない所もありますが、今では他のお友達と楽しくしているので良かった。
主の子も嫌なら断る事。どのように断るかは相手との付き合い次第。
子供の遊びに親がいちいち出るのはやめよう。
他の約束があるからごめんね、と言っていれば相手も気づく。
私のように逆ギレされる場合もあるけど、そのような方と縁が切れて良かった。

長文失礼。