旦那の不倫した相手の旦那さんが本気でウザくて不倫した旦那や相手の女よりキツい

一応私も被害者なのにかなり高圧的な態度で私にまで言ってくるし、なんだったら私も加害者側みたいな扱いで、夫婦で謝罪に来るのが筋だろうとか、そんな事をいちいち言わないとできないのか？みたいな感じで私に凄んできた。
旦那に対して高圧的なら百歩譲って良いとは思うけど、なぜか私まで連帯責任みたいに思ってるのか、電話で私にまで謝れないのかとか、すみませんのひとつもないのか？と言われた。
一応経緯もある程度、旦那のLINEを見て把握はしてるけど、相手の奥さんの方から連絡してきてるのが多いし、会うのを誘ったりしてるのも相手側。
これって同じ被害者である私がその旦那さんに対して、下手に出て謝ったりし続けないといけないんですか？