息子が塾をサボります無理にでもいかせますか？

小4の息子が塾に行くと言って出かけるのですが
塾には行かずどこかでサボって帰ってくることがあります。

通わせているのは学習塾、公文、そろばん、英会話などの勉強系です。

通わせている理由は勉強ができないから。
実際今でも3年生の授業内容が理解しきれていません。

よく無理矢理通わせても意味が無いと聞きますが
通わなくなったら今より悪くなるだけで良い方向には進むとは思えません。

学校の先生はコロナ対応もあり忙しく
息子にだけ特別に手をかけてもらうのも申し訳なく思います。

家で一緒に勉強しようにも勉強そのものが嫌いでやりたがりません。
家での対応にも限界があり、どうしても塾に頼りたいのですが

このような状態でも一旦塾から距離を置いた方が良いでしょうか？
それで改善するものなのでしょうか？

塾が合わない、先生が合わない、ではなくその教科がそもそも嫌いなので
塾を変えても同じでした。