完全分離の二世帯住宅について

はじめまして。
現在完全分離の二世帯住宅を建てるか否か悩んでおります。

旦那(30) 公務員
私(30) 医療職 現在育休中
娘(生後8ヶ月)

現在は家族3人で家賃8万円の賃貸暮らしです。

車で20分程の距離に義母実家あり。
義母実家は義祖父と義弟、
義母の長男家族が同居中。

義実家の横に義祖父の土地があり、そちらを讓渡して頂けるとのことです。
義母、旦那の希望としては完全分離の二世帯住宅を建てたいとのことで、当初は私自身も土地を讓渡して頂けるのなら二世帯住宅でも良いのではないかと考えていました(義母と義弟のみ同居)。
しかしハウスメーカーなど色々お話を聞く上で、不安が大きくなる一方です。

簡潔にまとめさせて頂きますと

・住宅ローンは主人と私のペアローンもしくは収入合算
・建物代の見積もりで約4500万+土地の造成費用(こちらは農地であり傾斜があるためかなりかかる見込み)
・義母からの初期投資援助はなく、家賃として月々を支払ってもらう(義母は現在60歳、いつまで支払ってもらえるのか…)
・義弟の部屋も作る予定だがいつ出ていくのかは不明
・建てた際の家具などもこちら負担になるだろうとのこと
・義母親族とも敷地内同居という形になるのも漠然と不安あり…(田舎のため集まりなど多い)

もちろん私も仕事復帰するにあたっては子供の面などでメリットはあると感じています。
しかしマイホーム購入は大きな買い物であり、今後2人目なども検討しているため、日々悩み考える一方です…
このご時世土地があるのはとても有難いことだと思いますが、土地を含めても私達家族世帯だけで建てた方が安上がりではないかなども考えます。

現在二世帯に住んでいる方、検討中の方、
マイホーム購入した方などなど
客観的に意見など頂けると嬉しいです。