知恵遅れは差別用語で使ってはいけない言葉。
知的障害（碍）と呼ぶのが正しいです。

４０人に近い児童が在籍するクラスであれば、統計的に５人いてもおかしくはないです。
でも、集団施行式の知能テストを学校で行わなくなったので、担任は児童に知的な遅れがあるかどうかはわからないはず。
ただ単にテストの点数や生活力、社会性などをみて言っているだけと思います。

私、知的能力をはかる検査もする仕事をしてるんだけど、その担任ありえない！
学校長や教育委員会に話していい内容だと思います。