兄弟、行きたい所が違う場合、出かけってどうしていますか？

上の子と旦那は動物が苦手・私と下の子は大の動物好きです。
なので土曜日は私と下の子だけで、動物カフェに行ってきました。
翌日日曜日上の子が美術館イベントに行きたがり、私と下の子は興味なかったので、パパと2人で行っといで～と言うと、とても嫌な顔をされました。
興味ないから行きたくないだけなのですが、旦那にも「そんな冷たい事言わないでさぁ」と言われ、仕方なく下の子を私が説得して出かける事になりました。
案の定、下の子は美術館にすぐに飽きて、ほとんど私が下の子を連れ外の公園で遊んでいました。
最近家族で出かけても兄弟の嗜好が違うので、上の子下の子別行動になってしまいます。
なので、最近4人で出かけるのが億劫です。
2人以上兄弟いる方はお出かけの時どうしていますか？
どちらかの兄弟と2人で出かける、行先を分けるのって非道でしょうか？
結局別行動になるのに、無理して家族で出かけないとダメなのでしょうか。