中1の塾、皆様ならどう判断しますか？

相談に乗ってやってもいいと仰る方がいらっしゃいましたらよろしくお願いします。

学力的に中の下の息子がいます。
オール3程度らしいのですが、最近の点数を見ると良くないです。

幼児から低学年まで私が勉強を見ている中で(読み書きの習得の速さ絵本の音読、政策の内容や速さ100ます計算など)あー、あまり頭が良くないかもと思っていたので、イライラもしてしまうし、家庭が休息の場所じゃなくなってしまうことを懸念し小4から個別指導の塾入れてました。

それでも成績表的にはよくなく、小学校の成績のつけ方よりも中学に入ってからの実力を見ようと思っていたのですが、中学に入ってすぐの模試で3100人中2900番くらいでした。

これでこの塾はよくないと思い辞めさせたかったので、塾の室長さんに話している時に、室長先生は「男の子はこれから伸びるし、模試の母体も増えるからまだ判断するのには早いのでは？」と引き止められました。

近くの塾ですし、ここら辺では評判も良い塾です。でも個別指導塾の中ではダントツに高いです。

みなさんならどう判断しますか？

辞めさせるのにはまだ早いのでしょうか？