主人の前妻との付き合いと義姉の前夫との付き合い

私の主人はバツイチです。
子供は成人しているので養育費の支払いは終わっています。
前妻は今でも主人の実家に行き来しています。
義姉家族と食事に行ったり、私と主人を除いてみんなで飲みに行ったりしているみたいです。
義姉もバツイチで再婚しています。
私自身特に前妻と義実家の付き合いは何とも思っていなかったのですが、ここ最近モヤモヤする事がありました。

義妹の前夫が最近義妹が引き取った子供（成人）と会ったみたいです。

それに対して義両親と義姉が何故か怒っています。
現夫に申し訳ないと。
私は主人の前妻と普通に付き合っている家なので、ここの家庭は別れても普通に付き合いできる家なのだと思っていたのでビックリしました。

それと同時に何となく私が軽く見られている気がして気分が悪くなりました。
義姉の現夫も普通に夫の前妻と付き合っているので、嫌な気持ちにはならないと思っていたらやっぱり嫌みたいです。
えー？！みんなそんな考えなの？！自分がやる分にはいいけど、やられると嫌なんだ？！って思いました。

主人はこの話にものすごく怒っていました。
私に対してあまりにも失礼だと。
元々前妻が来る事をよく思っていなかったので。
やめてくれと言っても今までの付き合いがあるから変えられないと言われたようです。

私自身は前妻との付き合いは好きにすればいいと思うしそれはどうでもいいんです。
ただ義姉の前夫を遠ざけようとするなら話は違うと思います。
ダブスタな考えが納得いきません。

おそらく解決はしない話ですが、誰にも言えない事なのでこちらに匿名で書き込みさせて頂きます。