マイホームを建てる場所について、夫と折り合いがつかない

前提を話すと長くなるので割愛しますが、夫は自身の実家(私からみて義実家)近くに今すぐにでもマイホームを構えたいようです。
場所は関西です。

一方で私はそれが嫌です。
理由はいくつかありますが、
・私は一人っ子で、親も今はひとりなのであまり遠くに行き過ぎたくない
・中学生から一緒にいた猫も老衰していて心配
・義両親のお節介など、心理的な距離の近さや干渉が苦手で、なるべく物理的な距離をとることでストレスを抑えたい
が大まかな理由です。
(義両親のことをやんわり相談したこともありましたが、悪気もなければ善意でしかないのに嫌がるなんておかしい。うちの親が可哀想。そんなに嫌なら離婚的なことを言われたことも)

とはいえ、自分の親が心配なのはお互い様なので2人の実家の中間地点に構えようというのが私の案でした。

また、コロナも深刻な中で幼い子を連れて地方に家を探しに何度も足を運ぶのは怖いので、今じゃなくても…という気持ちもあります。

しかし夫は意地でも自身の実家近くにマイホームを建てて、それについてこい！妥協案として2年だけ中間地点に住むという感じです。

以前から何度かこのマイホーム問題で意見が食い違い、「どうしても意見が合わなければ離婚」と言われ、話しが終了して…の繰り返しでした。

今でさえ、義両親のお節介にはストレスを抱えているのに、物理的距離も近づいたら多分病みそうです。
友達だって近くに居なくなり、実親も離れてただでさえ寂しいのに…というのは蛇足ですが。

そんなこんなでもう話も平行線だし、私が我慢する他ない選択肢なので、自身の心身の健康のためにも、離婚しかないかな～と考えていますが、私がおかしいのでしょうか？