職場の人との遊び（金銭感覚違う方）

職場の上司、お互いに役職で仲良くやらないと面倒な立場です。

上司のお子さんと私の子供が年が近く、お互いにディズニー好きな事もあり、上司からお泊りディズニーに誘われました。
ありがたく参加したのですが、金銭感覚が違いすぎて今後は遠慮したいですが、また誘われました…。

まず、ホテルが
我々→お金かかってもパークの近く、翌日もパークの余韻を味わいながら周辺で遊びたい。
上司→周辺は高いので、浦安か、葛西まで行って安いビジネスホテルに泊まりたい。

パーク
我々→お金かかってもDPA（有料のファストパス）を購入し、時間を節約してパークを満喫したい、時間があるのでレストランで楽しく過ごしたい。
上司→DPA勿体ない、並んてば良い。その間に立ちながらご飯を食べればいい。ご飯もコンビニで買っておこう。

私も友達と行くときは、おしゃべりしたいのでDPAを買ったり買わなかったり、ご飯もチュロスだったりすることもあります。
ただ、家族と行くときは子供が疲れるといけないので、なるべくお金がかかっても子供優先にします。

今回は上司のプランに合わせて行動しましたが、子供も疲れてるし、もっと乗れたり、休憩できたよな…と思うことが多かったです。
しかも上司だからそこまで待ってる間に話が弾むわけもなく…
上司のお子さんたちはスマホをずっといじってました。
ちなみに保育園生です。

こんなこともあり、今後はなしでいいや！と夫にも言われ、私もそうだねーと言っていたのですが、
上司は楽しかったらしく、また誘われました。

お金がー…と言って濁したら　
「ディズニーで散財し過ぎなんだよ、俺みたいにスマートに過ごせばいいんだよ」と言われて開いた口が塞がりませんでした。

今後は誘われても濁して大丈夫でしょうか？
あんまり断ることで職場でなんかされても嫌なんです。
愚痴のような相談、申し訳ありません。