これは私が旦那に謝った方がいいの？

今日、旦那と６歳の息子が東京ドームシティに電車で遊びに行っています。埼玉住みです。
私は９ヶ月の子と留守番をしています。

最初に旦那の提案で行こうという話になった時、私は『皆で行こうよ』と言いました。
けど旦那は『車が混むかもしれないし、駐車場もないかもしれない』と息子と２人で行くという意見でした。
『それか、自分が息子を連れて行けば？』と言われたのですが、下の子を置いて行くのは心配なので旦那と息子が２人で行く事になりました。
それでさっき旦那から『子どもは楽しんでるけど疲れた。帰りたい』とメールが来ました。
私は『留守番してる方の気持ちにもなってみてよ』と返してしまったのですが、そうすると『何機嫌悪くなってるの？後からウダウダ言わないで欲しい』って…
正直、それが私の本音でした。皆で行きたいけど駄目だと言われて留守番していたのに、行った方に『帰りたい』と言われたら虚しくならないですか？
けど旦那に謝った方がいい？