老後に家買う予定ある方

子供が巣立ったら小さい家買おうと思ってる。今の資金が独身の頃の私の貯蓄と合わせて1000万くらいあるんだけど、これから子供にお金かかるようになるのもわかるし、今のペース(毎月10万)くらいの貯蓄は無理かなとも思ってるから、そこまで貯蓄も増えそうにない。最近今の賃貸が手狭になってきたのもあり、一戸建ての賃貸(家賃8万)に引っ越そうか考えてる。
中古物件の4LDKで1980万の家があったんだけど、
みんななら今買う？それとも老後に買える金額の家買うべきかな？

旦那が自営で手元に残るお金は毎年350万くらい。
私は会社員で、今年の9月復帰予定で年収250万くらいだから手取りだと200万くらいだと思う。
ついでに子供が0歳と3歳。