主人が親戚の奥さんと不倫してるかも

父方のいとこで家族ぐるみの付き合いをしているんですが、私とも友達でよくお互いの家に行き来しているのに裏で主人と会っているみたいです。
うちは二世帯同居の住宅で、主人は婿養子みたいな感じなのでそのストレスもあるとは思いますが、やっぱり許せません。
うちは3歳の子供もいるし、向こうも2歳の子がいて、子供同士も仲良しで一緒に遊んでいます。
どうしたら良いのでしょうか？