家を買うのが怖い

結婚した時に夫の地元（田舎）に引っ越してきました。
ずっと賃貸で暮らしていたけど、子供が2人うまれすごく手狭になり、上の子も入学するので一軒家への引っ越しを夫から提案されています。でも5年以上住んでも夫の地元が好きになれず、ゆくゆくは地元へ帰りたい（というよりこの地域から出たい）という思いが強く、私はなかなか家を買う決断ができません。（かと言って今のアパートでは子供の学習机も置く場所がなく、ずっと住み続けるのも不可能な状態です）夫には私の地元への移住は無理だと断られます。今でもはやくこの土地から出たいと思っているに、家を買ってしまったらこの先どうしてもここで暮らすのが辛くなった時に地元へ帰る（あるいはここよりも都会の土地へ引っ越す）という逃げ道がなくなるのが怖いです。ちなみに田舎なので広い賃貸はありません。やっぱり私が我慢して、夫の地元で一軒家を買うしかないのでしょうか。