指を使って計算するのはまずい？

今年小学3年生。計算が苦手で、1年生のときから指使って計算してる。旦那はやめさせようとするから旦那の前で宿題の計算ドリルがなかなか進まない。旦那を気にして指使わずに計算しようとしてものすごく時間かかってる。学校では特に注意されなかったけど、徐々にでも指使わずに計算するようにしていかないと受験時は指使えないんじゃないか、という旦那の言うことも気になる。
受験するにしても高校受験だからまだ先なんだけど。
指使わないようにしたほうがいい？