都内一年生、登下校。通学路を外れた寄り道や道草は見逃す？

交通量の多い地域で6月から保護者の送迎は任意です。自宅が同じ方向の子たちは途中まで一緒に帰ります。
その中の1人が学校から自宅とは反対方向の公園、通学路とは全然違う友達の家(もちろん親の許可なし)に寄りたがったり、場所も知らない友達の家に何となくこっちの方だからと適当に周りの子を巻き込んで行こうとします。
周りの子は我が子含め友達(皆んな仲良いです)と一緒にいたい、あわよくば遊びたいのと、先生から1人で帰るのはダメだと言われてるからとついて行っている感じです。

GPSはランドセルに入れていてリアルタイムで追跡はできるのですが、私は事故や危険に巻き込まれる可能性も高いし心配で厳しく子どもに注意しました。子どもも悪いことだとは分かっていたので理解してその子たちが寄り道しようとすると注意したりついて行かなくなったりするようになり、そうなると特に下校は仲間外れみたいになってしまってます。
私は我が子の安全が第一なのでそれで良いと思っていますが、子どもは友達と一緒に登下校できる楽しみがなくなりさみしそうです。