新築する土地について

新築する土地に関して義親と私たち夫婦でもめました。
義親は77歳。夫は43歳。
義親はもう隠居してもいいという旨のことを言ってます。
そこで私たちの新築予定地に義実家の所有地が候補にあがりました。
というか、今現在義実家が建っているところに私たちの家を新築し、隣接した所有地に義親の隠居を建てるのはどうだろうという話を私たち夫婦でしていました。
義親は数年前から、もう歳だしこんなに大きいうちはいらない。一階建ての隠居のような家で充分だと言っていたこともあって、今の家を壊して隠居を建てることを考えているのかな？と私たち夫婦は認識してました。
立地的にも義実家が建っている土地は公道に面していますが、隣接した所有地は旗竿地で公道から接道を通らなければ敷地には入れません。公道側にはお隣さんの家が建っていて、所有地は公道側からみると裏手になります。
そういったことを踏まえても、40過ぎて今から家長としてやっていく旦那が構える家を現在義実家が建っている土地にして、80近くになって隠居を考えている義親の家が旗竿地に適しているのではないかと考えていたのですが、どうやら義親は今の家から動く気はないようです。そして、私たち夫婦に旗竿地に新築するよう望んでいるようです。
自分たち亡き後は、義実家も義実家が建っている土地も売るなり貸すなりしていいと言っているようですが、そうは言っても自分たちが旗竿地に住んで、他の人に条件の良い土地を譲るというのは何だか腑に落ちません。
そんな話を旦那が義親としてくれたようですが、それなら旗竿地に移ってもいいが、今の家にあるもの全て捨てられるものはないし、一階に寝るのは防犯的に不安だから二階建ての家を建てる。と言い出したようです。そして、以前一階建ての隠居でもいいかなとは言ったが、はっきりとそうすると明言したわけではない。築３０年の家を壊すのは嫌だ。と言っているそうです。しかも、旗竿地は車の出入りが不便だが我慢してそっちに移るのだから嫁も何かしら我慢しないといけないよね。みんなそうやって何かしら我慢しなきゃ仲良くやっていけないよね。というようなことも言っているようです。
義親の主張もわからなくはないけど…本当に隠居する気があるのか。家督を息子に任せる気があるのか。旗竿地に移ってもいいとは言ってるけど、二階建てにするとか捨てるものは何もないとか…当てつけとしか思えません。
諦めて旗竿地に新築するべきでしょうか…。
長文すみません。

赤罫線が義実家が建ってる土地。
青罫線が実家所有の旗竿地。
黄色が3メートルの接道です。
ちなみに接道の反対側にも民家があります。