スポーツ系の習い事で上級生に睨まれて行きたくないと。。

４年生の息子が、月１でいろいろなスポーツをする習い事を始めました。先日が初回でバレーボールをしていたのですが、ずっと息子のことだけを睨んでくる上級生の男の子がいたそうです。その上級生とは学校も違い面識がないそうで、睨まれる原因が分からないそうです。息子は運動音痴で、スポーツが苦手なので克服しようと始めた習い事です。上級生の子からしてみれば、息子がいることで足手まといになり思うようにプレーができなかったのが気に入らなかったのかもしれません。
息子は怖かったから、もう行きたくないと言っています。せっかく本人がやる気になっていたし、私は出来れば行かせたいのですが…主人は無理には行かなくてもと。皆さんならどうされますか？いろいろなご意見をお聞かせください。