旦那さんに強く言えないなら、こんな感じはどうかな？「ストレス溜めるのは、良くないと思うけど、もし相手のご主人に見られて騒ぎになったら会社辞めたり慰謝料請求されたりするかもしれないよね、このこと、相手のご主人にも勿論了解いただいてるのよね？大丈夫よね？最近不倫で退職とか訴えられたとか、そういう話を聞くから心配で、、」と不安を煽ってみるのはどうかな。