算数ができない場合、中受は厳しいですか？

新四年生です。
中受を見据えて塾に入れましたが、算数が壊滅的にダメです。
平均点あれば良い方で、偏差値はY37〜54くらいをウロウロ。
他の3科目はトップ層なのですが、算数が重要視されるので、算数が苦手な場合はとても不利だと思っています。
公立中学から高校受験の方が良いのかな。