親の都合で子供のスポ少を辞めさせるのはダメですか？

私が仕事で異動になり業務内容が責任のある大変な仕事になり胃が痛い毎日で上司に元の職場に戻してほしいとお願いしたけれど却下されたのでなんとか毎日仕事に行っている状態です。

そこで今まで普通にこなしていた子供のスポ少のサポートも精神的にしんどくなってきました。せめて仕事が終わったあとや土曜日曜日だけでもゆっくり身体を休めたいのですがスポ少があるとそうもいかず、、
しかも5年生が息子1人しかいないため11月から主人がスポ少の会長になります。主人が会長なんて名前ばかりで負担は全て私に降りかかります。出来れば息子にはもう辞めてもらいたいです。息子自身もそこまでやる気はありません。

このまま息子がスポ少をつづけたら私は絶対心を壊すからどうかやめれないかと息子と主人に相談したら息子はいいよーと言ったのですが主人は猛反対でした。息子がせっかく頑張っているのに親の都合で辞めさせるなんて絶対ダメ6年の最後の試合までつづけると言われました。
私が仕事でしんどい思いをしてることをどれだけ伝えてもわかってくれません。

みなさんならどうしますか？？
事情があり転職は無理です。