習い事を嫌がる4歳

先月からスイミングを始めました。
元々プールが好きだったので体験に行き、本人にやりたい気持ちがあることを確認しました。

わたしが仕事の時間なので送り迎えは子どもの祖父母にお願いしているのですが、
初回のあと「やりたくない」と言い始めました。
その後風邪を引いたため2回連続で行けず、体調が戻ったので「今日はこども園のあとプールだよ」と
声をかけると「行きたくない。お休みしたい」と言いました。

まだ4歳なので「やっぱり嫌だ」と思うかもしれないとは予想していたのですが、
たった1回行っただけで辞めてしまうのはもったいないと思ってしまいます。
続けていれば、泳げるようになれば「楽しい」と思えるのでは？
辞め癖がついてしまうのでは？
などいろいろと考えるのですが、本人が嫌がっているのに行かせるのもどうなのでしょうか。

ちなみにやめたい理由を聞いてみると「たのしくない。できない。いきたくない」くらいしか教えてくれません。