お互いの義家族が原因で…

旦那はうちの親がものすごく嫌っていて私は旦那の姉、母親がほんとに嫌いです。色々あってお互いの義家族が駄目になったという感じです。その事で何度も喧嘩しました。旦那はもう、うちの親と会う事（関わる事)はしたくないといいます。それならと私も旦那身内関係の付き合いしないと言ったのですが…。お互いの義家族と付き合えないという理由で離婚とかは違いますか？甘いですか？義家族除けば夫婦関係はなんとかやっていける仲です。