公文関係のどのトピを見てもそうだと思いますが向き不向きがあります。
うちはスタートが遅く小１の夏くらいから小３の１月まで。もう少し早くスタートすれば中学終了まで進めたかも知れませんが、中学のレベルに入るか入らないかくらいで受験の為に塾に変えました。
他の方も書かれていますが、塾では上位クラス無事に難関校にも合格できました。計算の訓練をしたという意味ではとても役に立ったと思います。中学に入ってからも計算の早さ役に立っています。

ただし、公文は先取り学習をする教室ではなく理解度に合わせた進度です。４年生で中学の問題をやっている子もいれば、４年生で小２の問題をやっている子もいるのが公文です。教室によるかも知れませんが、素早く確実に解けないと先に進めないので。なかなか進まないので辞める子もいます。これも教室によりますが大量のプリントをやるのでその時だけ覚えて進んでしまう子もいたり。先生も進度が進めば良いと思う教室、理解が重要とそこを確認してくれる教室、同じ教室ですが先生の力量がピンキリです。
成績が良くなるのに先取りは関係ないと思うので小４なら塾で良いと思います。