不倫相手にセフレが3人います。

私自身がバカでいけないのはわかっています。
このような状況（完全にクロの状態）ならみなさんはどうしますか？

相手：55歳　単身赴任で一人暮らし。奥様とはずっとレス状態。
私：45歳　バツイチのシングルマザー。

相手とは仕事を通じて知り合い仲良くなり付き合う（不倫です）ことになりました。1年半経過しました。
毎週日曜日は相手の家に行ったり、お出かけしたり、平日夜もたまに食事したりしています。

相手の年齢のこともあり、エッチ中に元気がなくなることがたまにあったり、連日のエッチはなかなか難しいことがあります。今年に入ってから、あれ？って思うことや相手の言動があってモヤモヤしていたところ、相手の家でメモをみつけてしまいました。
メモはカレンダーになっていて、仕事、トレーニング、家庭への連絡、人脈、目標とか項目に分かれていて、人脈のところに私のイニシャルが1番上にあり、その下に3名書いてありました。その3名の所には月1回土曜日とかにSと記号が書いてあり、その翌日は私と会っても、元気にならずエッチできていませんでした。Sはエッチのことだと思います。

私は結構色白で肌のキメが細かいのですが、肌や体のことなど褒める時に必ず比較対照がある言い方をします。相手の家に行く途中にラブホがあるのですが、なぜか中の様子を話してくれて、行ったことあるの？と聞いたら、ない！と言っていました。家族写真を見るか？の話の時に、私は見る必要なないと答えると、やっぱりさすがだよ！と言われたり。単身赴任終わったらそっちでも出会いを探すと言ったり。

相手に冗談で、最近あなたが他の何人かの女性と会ったりエッチしている夢をよく見るんだけどと言ったら、何を疑っているの？と返されました。しらばっくれている感じで、夢を見ている私がおかしいようなことを言われます。ただそれ以降、相手から夢の話を振ってくることはあります。あとは私が人妻とかだったら良かったのに…とも言われたこともあります。

私は相手のことが好きなのかわからなくなってきていて、もうやめてもいいかなと思ったりしています。所詮私も不倫相手となるわけで、相手に何かを求めるつもりもありません。相手からみたらただのセフレですしね。

長々と拙い説明で申し訳ありません。みなさんならどうされますか？教えてください。
よろしくお願いします。