私はビュッフェ好きだし嬉しい。
でもそもそも、兄弟や親とはいえ自分の家族以外の人と一緒に行くならどういう店に行くか事前に相手と相談する。事情や希望は家庭それぞれ違うから。

トピ主さんはよかれと思ってだろうけど勝手に決めたのは配慮が足りなかったと思うし、弟さんの「こちらの雰囲気を汲んだところに連れていけ」も傲慢で身勝手だし、どっちもどっちかなという印象。