家を買う時に手元に純粋な貯金として

家を買う時に手元に純粋な貯金としていくらぐらい残すのがいいと思いますか？

今現在我が家は子どもが小さく家賃がほとんどないので、月に10万は最低でも貯金できていて、ボーナスは全く手をつけずに年100万をすべて貯金している状態です。年間250万近くは貯金しています。

住宅ローンは月に8万にする予定で年間96万の支払いになります。プラス固定資産税の支払いや光熱費の値上げなどあると思います。
手元に純粋な貯金として150万だけ残してマイホーム建てた後も貯金頑張ればいいかなと思っていますが、子どもが大きくなった時のことを考えて手元にもっと残した方がいいと思いますか？

周りは手元にほとんど残さない方もいれば500万残した方もいて色々です。