>少しくらいの道草なら良いのですが、公園寄ったり友達の家に寄ったり

中途半端に許してるからダメなんじゃない？
小1の子なら「少しくらいはOK、公園や友達の家はダメ」の境界線が分からないんだと思う。
公園や友達の家も「少しくらい」と思ってるから「ママ、言ってる事が違うじゃん！」と混乱して激怒するんじゃない？

学校のルール通りに「道草せず真っ直ぐ帰宅」が筋が通ってる。