体の浮気、心の浮気

付き合いたいと彼の方から言われて、それは本心？と何度も確認した上で、付き合い始めた彼氏がいます。
彼は医師です。かなりモテるようです。
ナースや製薬会社の女性から、かなりアプローチもあるようです。
私と付き合う前、研修医の時代はナースが簡単すぎて30人くらいとエッチしたと告白されました。
でもそれは遊びやセフレで付き合う気持ちはなかったそうです。
それだけでも引いたのですが、先日、彼の部屋に他の女が残したマーキングがある事に気付きました。
彼には言わずに捨てました。マーキングした女が気付いて彼に言うかどうか分かりませんが。
彼はかなり多忙です。私も仕事があるため、私は前もって日時を約束してからでしか彼と会っていません。たまに夜遅く帰宅後に、彼から、今から会いたいと言われても、無理だよって断っていました。そんな日にナースや製薬会社の女を家に呼び出していたようです。
他の女と私は何が違うのか聞くと、
他の女には、好きとか付き合いたいとか甘い事は一切言ってないと言います。
あくまでも私と付き合いたい、と。
彼にとって体だけの浮気はあくまでも性欲処理でしかないという価値観のようです。
だから罪悪感も無さそうです。
私に対しては、心の浮気をされるのは嫌だと言います。
もうわけがわかりません…
どう付き合っていけばいいのでしょうか。
もう一方的に切る事も考えています。