学校のルールとかで帰宅してからとか決まってない？
それを盾にして「ルールなんだから帰ってきてから遊びに行きなさい」って子供に言ったほうがいいよ
そういうルールがあれば相手のお母さんにも「一旦帰宅するように伝えてもらえる？ルールを守らせたいから」って言いやすいよね

もしこれが誘拐とかなら「また遊んてる」って思って夕方まで気が付かないってことだよね？

学校にそういうルールがあるかを確認したり、お便りを出してもらう事も考えてみたら？