もう遅いのは何年生から？

子どもの勉強について、
「早いうちが大事」「小学生で差がつく」といった話をよく聞きますが、
実際のところ、どのあたりから差が固定されていくと思いますか？

「ここを過ぎると挽回が難しい」というタイミングはあるのか、
それとも中学以降でも十分に巻き返せるのか、
どう思いますか？