スポ少。親の事情で辞めさせたら可哀相？

小３の息子が入っているのですが、保護者の関わりが面倒臭くて苦痛です。表面上は「お手伝いはできる方だけで」って言っているのですが、実際は行かないと陰口を言われる感じです。
あちこちから他の人の噂を聞くので、そのうち自分も何か言われているのではと怖くなります。
本当にストレスなのでもう辞めてほしいのですが、そんな理由で辞めさせるのは可哀相でしょうか。
スポ少ではなく習い事のスクールに入れようと思っています。