ご主人が反対してないならいいと思うけど、反対してるならやめておくべき。平等にお互いの実家の中間地点に建てればいいのでは？
あなたがお母さんとのんびりお出かけしたり、会ったりできるのもご主人のおかげでしょ？ご主人の意見を無視しちゃ可哀想。

あなたも将来お子さんが、お嫁さんやお婿さんの実家の近くに家建てたら、寂しく思うと思わない？