コンプレックス強い夫にもう疲れた

うちの夫、出自に相当コンプレックスあるんです。家庭環境良くないのは知ってて結婚したんですけど、そのせいか教育熱心すぎて私がついていけません。
北海道の田舎の生まれで、東工大出ました。
年子の兄が知的障害で、加害あるんです。(本でうちの息子を叩く、雪をかけるなど、なのでもう夫実家に子供を連れて行ってません)
小さい頃からああだから近所でも話題になるし、夫が他所の家庭にヒソヒソされた。それで義母にあたる人は育児放棄して、蒸発して札幌に逃げたらしくて父子家庭です、

見た目とかキャリアとかは良いと思うんですよ、高校大学社会人、友達も彼女もいたみたいだし満足じゃないですか。それなのに、都会に出たら一貫校の育ちの良い人ばかりで悔しかったみたいで、、その中で藻掻きながら頑張ってて偉いなーと思って結婚したけど、攻撃性と野心ばっかりでもうつかれたんです。
私は23区内で育ち、幼稚園から大学まで青学だったので(オール私立なので家の財力は夫の家より確実にある)、やはり夫みたいな人とは合わないのでしょうか？