うち、新築で上下二世帯にして、玄関風呂共同で義母の願いで夕飯だけ一緒にしたけど、5年目で夕飯別にした。
義母はイイ人と言うか、イイ人ぶる人で、何かにつけてストレス溜まってブチ切れたのがきっかけ。

義親も了承してるなら、畑に新築建てちゃいな。若いうちしかローン組めないし、どうしようどうしようと迷ってる間に手遅れになる。
3歳と0歳が小学校にあがるまではキツイかもしれないけど、その6、7年待ってたらローン組むのキツくなるよ。年齢的に。
イイ家を建てるのは諦めてコスト抑えてホームメーカーに頼むのが得策かな。
近所近所って言ってもどうせ他人。
先に逝くんだから、堂々としてればいいよ。