塾、休ませた方がよかった？

小3の息子がいます。今日は5時間で14時半に帰宅しました。

今年から塾に通いはじめ、2日土曜日に統一テストがあったのですが他の習い事があり休んでしまったので昨日振替テストを予約していたのですが同時刻に歯医者の予約が入っているのを忘れており、本人に許可を得て今日の15時からに再振替をしました。今日は16時40分からプールもあります。
私は働いているのでいつも息子は帰宅したら電話をくれるのですが、今日電話で『テストに行きたくない』と言いました。色々と話を聞くと勉強が嫌だ、プールの前に行くのが嫌だ、塾はやめたくないけどテストが嫌だとグチグチ言い出したので、ママは何度も今日でいいかちゃんと確認して自分でいいと言った、プールがあるのも前から分かっててそのうえで自分で行くと決めたんだから体調悪いわけではないなら行きなさい、と怒ってしまいました。
結局テストは受けに行ったようですが、後になってからやり取りが電話なのもあり、怒ってしまったことや無理やり行かせて良かったのか・・・など考えてしまっています。旦那にも事の経緯をLINEで報告し、行かせて良かったと思うとは言ってくれましたが、皆さんならどうしますか？

中学受験をするわけではないので、そんなに厳しくしなくてもよかったのか・・・でも嫌だからという理由だけで休ませるのは甘やかしになるんじゃないかなど、モヤモヤします。