彼氏との関係について

付き合って1年3ヶ月になる彼氏がいます。
私42歳子供3人バツイチ 彼氏43歳独身です。
彼氏と子供達の関係はとても良いです。 夏には一緒に暮らす話になっていました。
が、今までもそうなのですが、彼氏と家族とみんなでいる時に子供達から元旦那の話が出たり、パパの誕生日だからと、電話で話をしていたりと。
彼氏は自分が居ることで子供達に罪悪感がある。自分が100%で子供達に色々しても、結局は、元旦那が出てきたら一瞬で台無しになる。
今後は一切、子供抜きで、3人が18歳になるまでは、2人で過ごそうと話をされました...。
私は子供達にも引越して来る話をしています。
1番下の子は彼氏にとても懐いていて、ほぼお父さんの様な感覚でいると思います。
子供達も彼氏を受け入れられる様になってきた時に、今後は2人でっていうのが、別れの選択をしないといけないのかなと思います。彼氏の家の鍵も返してくれと言われました...。そして返しています。

付き合ってから、元旦那との関係や、同じ様な境遇の中再婚した方などのご意見が聞きたいです。