どうしようもない彼氏とわかっているのに抜け出せない

相手は年下、奥さん、彼女がいるというのが付き合ってからわかりました。
奥さんとは別居していて（奥さん公認）、理由は毎日は一緒にいられないという理由で公認してもらってるとのこと。
彼の家から車で20分くらいの場所に住民票上の家（奥さんが住んでいる）があります。
帰るのは週1あるかないか、（郵便物をとりにいく用事のとき）寝ることはほとんどないと思います。夜いつ電話しても電話にでていたので。

電話の内容を聞いてると奥さんは、彼のことが好きそうです。
いつ帰ってくるの？とは聞かないけど、ずっとあってないから会いたいなとか言ってました。

独身だと思って付き合いはじめ、そして家にいっても女の気配はないので結婚してるのかしてないのか確認したこともなかったのです。

なんで言わなかったのか聞いたら、聞かれてないからと。
その時点でふざけた話なのですが、、、

彼は奥さんのこと好きでも嫌いでもない、別れないのは家族の情だと。
でも私のことが好きだから、別れようと思ってると。

そんな話をしていたら、奥さんとは違う女の子の名前で電話がきて。
あきらかに怪しいので、寝ている間に携帯ロック解除したら、たまに会っている形跡が…月1程度。
でもそれも1年以上続いていそうでした。
内容としては、その彼女は彼に奥さんがいても大好きだからそれでいいと。自分は結婚願望がない、楽しければそれでいいんだと。そんなかんじでLINEしていました。

上の話を彼にして、私のことも遊びということだよね。と別れを告げましたが、なんだかんだと毎日私に電話をしてきて、別れたって言われても俺は好きだからずっと一緒にいようねとか、色々と甘い言葉を言われています。
私が断ち切れないのがいけないのですが、私が1番好きだと言われて。
3人とも好きだけど、私が1番ってこと？って突っ込みたくなるかんじなんです。

拒否したいのですが、仕事が一緒で…
転職して離れるしか方法ないですよね。
私が忘れられるように厳しい言葉かけてください。