家族で意見が分かれてる、どうしたら良いかな？？

小1の息子の話。
7月にスイミングの育成コースに呼ばれ、1ヶ月体験、やりたい！という本人の希望で8月から改めて始めました。
週に４回、強制ではないので行ける時に行く（8割の方は毎日来てます）
1ヶ月は楽しんで週４回行っていました。
しかし、9月に入り、自分の遅さに気づき辞めたい、行きたくないと言い始めました。練習もきつい…と。
泣いて泣いて週に２回に減らしています。

旦那はここで辞めたら、自分は遅かった、と自己肯定感が削られたまま終わるぞ。と。
私はもうここまで泣くなら辞めたらいいよ。
祖母は旦那と同じ意見、プラス用品に5.6万かけたのでもったいないね…という感じです。
用品については私も結構同じ、気持ち…汗

さてどうしたら、、、