低学年、うちの子が仲間はずれにしたと言われ気分が悪い

我が家のルールとして、中学生になるまでは、親の連絡先を知らない子は家で遊ばせないルールです
何かトラブルがあっても嫌なので。

よく遊びにくる子供の友達で、親御さんの連絡先を知らない子が一人います。
子供には〇〇さんのお母さんは知らないから家に上げられない。その子がいるときは皆で話し合ってどうするか決めてねと言い、結果その子だけ帰ることになったり、その子だけこないということがありました
その後その子のお母さんが学校に子供が仲間はずれにされたと連絡したようで、事の経緯は話して先生には納得してもらえましたが、
そんなことでいちいち連絡する親御さんにも腹が立ちます。
親同士知らないなら普通は遠慮しませんか？
当たり前のようにあがりたいみたいな感じで図々しいですし、被害者面しないでもらいたい