夫の浮気相手が我が家にやって来てるんだど何か対処した方が良い?

少し複雑な話になるので長文失礼します。

社会人と大学生の4人の子供がいる専業主婦です。
旦那は浮気性で女遊びが激しいのですが、私達は恋愛結婚という訳ではなく旦那の哀れみ婚という事と経済的に困ってないのもあって好きにさせています。

しかし、3ヶ月前に旦那の浮気相手が我が家にやって来ました。
過去に外で浮気相手(3人程)と遭遇して話をしたことまではあったのですが、我が家に突撃されたのは初めてです。

基本的な内容としては浮気をしてしまった謝罪、ネックレスやバックを買って貰った謝罪と返品、そして離婚に了承して欲しいと言った物です。
「何だかよく分からないので、まずはそちらでちゃんと話し合ってから来てくれませ?」
と言って帰したのですがここ三週間程、外で浮気相手と見かける事があります。
笑顔で手を振れば去るのですが、昨日になってまた謝罪の手紙を送られ、今日も謝罪の手紙を送られました。

浮気相手の訪問の夜に旦那にも伝えたら、その相手と再婚したいので離婚して欲しいと言われましたが、夫婦旅行の数日前に撤回されました。

旅行後から現在に至るまで仕事はしてますが連絡がつかず家にも帰って来ていません(こういう事は過去に何度もあったので心配はしてない)

浮気相手と遭遇する事は過去に何度もありましたが、今回はなんかしつこいというか長いなって感じ何ですけど、何かした方が良いんでしょうか?
因みに離婚は考えてません。