小５、留守のおうちに遊びに行っていい？

小５息子の友達の両親が共働きで、家に子どもしかいない。
「留守のおうちには遊びに行ったらダメだよ。公園行くか、うちに連れておいで」って言って、何度かうちに遊びに来てもらってる。
でも息子が「留守でも遊びにきていいって言われた。他の子も遊びにきてるらしい」って言って、遊びに行きたがってる。
共働きの家って多いと思うけど、みんなどうしてるの？