やっている家庭と何もしていない家庭だとスタートの時点で差は有ると思う
でも、会話したり文法的な事は興味があれば何歳からでもでも習得できるよ
ただ、発音とリスニングは耳の良い乳幼児の時からやっておいた方が良いって言われてるね
知り合いの英語を教えている方から映画でも歌でも良いかネイティブが発音するものを乳幼児期から日課として聴かせると良いって言われたよ