私も主さんの立場で経験者です。私はやり方間違って二人の不倫は事実でしたが、二人から虐められる形になってしまい、私が最終的には悪者になってしまいました。
本当は関わらないのが一番なんですけど、職場だと難しいんですよね。よく分かります。噂はあっという間に発信元を離れますから、会社の他の人にそれとなく、飲み会秘密にとか何でかなー？と話してみたい、本人に何となく、気づいてる風に醸し出してだから穏やかに距離置きたい旨を先方に分かってもらうのが良いと思うんですけどね。いやー、私も答えが出ないまま、結局居づらくなった私が会社を辞めて、二人はまだ普通に不倫しています。