悩み相談させてください。

離婚したいと考えていますが甘いでしょうか。自分自身、至らない部分も多くガツンと言っていただきたいです。

夫、私　30代前半、子供２人（2才、0才）

第一子妊娠中に不倫されましたが、再構築しました。というより、付き合いも長く愛情もお互いそこまででしたので可愛い子どももいるし、専業主婦をさせてもらいこの生活が続けられるならまあいいかなと諦めのような気持ちでした。
最近、家を建てることについて夫と意見の衝突があり会話が平行線です。
夫は一生賃貸暮らしを希望しており、私は家が欲しいと考えています。
夫の考えは莫大なローンを支払うのが馬鹿らしい（住んでいるのは地方都市でトータル3000万強は必要です）、激務でほとんど家にいる時間がないのにもったいないとのことで、心情は理解できます。
私としては、やはり賃貸では狭く子育てに不便であること、田舎育ちで持ち家が当たり前という考えです。
ローンを支払うのは夫だし、夫が建てないというのなら無理なのかなと思っています。
子どもが小学生になれば働こうと思っていますが、前職が証券会社でかなり激務のためワンオペ家事育児に仕事が可能なのか心配はあります。
賃貸で我慢して生活するか、離婚し、子どもと実家に帰ったほうが良いのか、他に何か道があればご教示下さい。