全然早くないと思います。私も現在そうです。
ただ、キャリアがしっかりしてからの方が今後自分のためになるかもしれません。不吉なことで申し訳ないですが、離婚した時に（大卒だと仮定して）社会経験一年ぽっちじゃ戦力0と同じ扱いです。だから、ちゃんと社会経験を積んでの出産or仕事に復帰できる状態であれば全然早くないと思います！