遠出の度に義両親と一緒、嫌じゃない？

家族は夫と子供2人、義両親と二世帯同居中です。
普段から気を遣って生活しているのに、遠出の度に義両親と一緒で全く楽しめません。
以前から遠出するたび（温泉旅行や花火大会など）いつも義両親が一緒でした。元々ファミリーカーを持っていなかったため、別々の車で移動し現地ではずっと一緒に行動していました。
ところが最近我が家がファミリーカーを購入したところちょっとした場所でも義両親が一緒に行くようになり、嫌だなぁと思っていたのですが、
今回片道10時間かかる場所への旅行に一緒に行こうと言われ…移動も現地でも長時間ずっと一緒なんて正直苦痛でしかありません。
夫にさすがに今回は…と伝えたのですが、一緒に行くのが嫌なら1人で留守番したら？と言われました。そもそも家族旅行なのになぜ私だけが留守番しなければならないのか、夫の思考回路が全く理解できません。
皆さんなら片道10時間、気を遣ってでも義両親と一緒に旅行に行きますか？それとも1人で留守番しますか？
夫の無神経さに腹が立って仕方ありません。