義両親の向かいに家を建てろとうるさい

近々家を建てたいと考えていますが、金銭的にかなり厳しく家はとりあえず形だけで後々部屋などを作る予定で考えていました。ただ義両親はそんな家みっともないといい、土地をあげるからそこでましな家を建てなさいと言ってきて、設計士さんに間取りまで書き出してもらってました。
土地代が浮くのは有り難いし、義両親には今でも本当にお世話になっていますが、貰う土地は義両親の家の向かい、近くには跡継ぎの長男夫婦もいます。学校も遠いし私も旦那も土地から買いたいと考えています。
私たちは間違ってるのでしょうか？