私も義実家とは何年も疎遠だから、気持ちはわからなくもない。
旦那はどちらの家にも行く所はあなたと違うけど。

主さんも自由に疎遠にさせてもらってるんだから、旦那さんの意思も優先してあげたら？
万が一、あなたのご両親に不満を言われたら、自分が義実家に不義理をしているせいもあるから許してあげて欲しいと私なら言う。