彼の事は好きだけど…結婚はやめた方が良いのかな

付き合って3年が経ち結婚の話が出ています。
彼には全く問題は無いし私も結婚を望んでいましたが現在悩んでいます。
簡単に書くと彼は長男で次男、三男が居ますが、次男、三男はすでに結婚し子供がいます。
家も建てていますが次男、三男家族は近くに住みとても仲が良いです。
兄弟仲も良いし、嫁同士も仲が良く、さらに子供の年齢が近い事もあり家族ぐるみで遊んでいる話を良く聞きます。
私が悩む理由は彼の家に行くとたまに次男嫁、三男嫁さんが居るのですが、距離を置かれている…と感じる事や次男嫁、三男嫁は年齢が近いのですが私はそれより7歳も年上なので会話について行けない事もあります。また、次男、三男は彼が嫌いなのかあまり関わりたく無いって感じで彼が話しかけても素っ気ない態度です。次男と三男は仲良く話したりしています。
あと、次男夫婦、三男夫婦は私や彼より年下ですが私たちより高収入の仕事の為、結構大きな家を建てていますが、たぶん私と彼が結婚しても同じレベルの家は無理だと思います。
そういう点で僻みが絶対出る。次男、三男の所が仲良くて入り込めないなら苦労する！と周りから言われ結婚を悩むようになりました。
もしも皆さんが私の状況だったら結婚しますか？
結婚は親戚付き合いもあるので気になります。