ママ友たちに貧乏だと思われていて、家建てるの言いにくい

お金持ちの多い地域の賃貸に住んでます。
元々転勤で引っ越してきて、ここではとても地価が高くて買えないよーみたいな話をしてました。(夫婦とも土地タダみたいな田舎出身なので、その時は実際に価値観としてそう思ってました。)
習い事も無理してると思われてます。もうすぐ発表会で、もうまたお金どうする？？お金かかるよねー！みたいな話は真っ先に私に振られます。

実は家を建てることになりました。引渡しは来年春ですが、地価350万近くの土地で40坪くらい、ハウスメーカーは業界一、二高いと言われているところです。
ママ友たちが通る道沿いで、通りがかりに気をつけて建築看板や表札見ればすぐにわかると思います。
以前のようにランチ行ったりはしなくなりましたが、親子共毎日のように公園やイベント行ったりしていた人たちで、今も近所に住んでてばったり会ったり習い事などでも会います。
このまま黙っててもバレると思うし、知られたら
経済的に同等か下にみて安心してた相手が実は、みたいな感じで気まずくなったら嫌だなと思ってます。
聞かれたら、淡々と事実だけ言うしかないでしょうか。旦那に任せててお金のことはよくわからないくらいにとぼけた方が良いでしょうか。
仲良くしていきたいとは思いませんが、関係が悪くなるのは避けて無難にやり過ごしたいです。