子沢山の方マイホーム？賃貸？

主.旦那32
手取り合わせて35くらい
家賃５万、車ローン２万あります
２０万支払い、１５万生活費で、残り余れば貯金
足りなければ子供手当てから借りる
子供にかかるお金は子供手当てから
子供5人で手狭になったのと、家賃がもったいないかな？と思うので、マイホームを考えてます。

子沢山の方アパートとマイホームとかどちらが多いですか？
正直貯金はあまりなく、子供手当てくらいしか貯まりません
月々余ったお金も車検や税金などでなくなります。
車ローンがもうすぐなくなるのと、
来年からわたしもパートから
フルタイムに。35万の手取りは最低金額で、
旦那の残業などで少し上がるときもあります。
一時的に子供手当てを借りて諸費用にして
ローンを６万くらいで固定資産税１万くらい積み立てしてたら
いまの家賃と車のローンくらいに相当するので、シュミレーションしてみましたが、
無謀ですか？