離婚と再婚

５歳と３歳のシングルマザーです。

元旦那とは円満離婚してまして、今でも子供達の事では連絡をとりあっています。
離婚する際に私の実家には頼れないということと私に持病があり寝たきりになる可能性もあるということとすぐに転園は難しかったという理由で元旦那の実家の近くで現在暮らしています。そして彼氏が出来まして近々再婚することになったのですが、元旦那や元旦那の実家との縁を切ってほしいのが俺の希望と言われました。今までそのようなことを言われたことがなく、今週に親同士の顔合わせを予定している今どうしたらよいのか、何が子供の為なのかわからなくなってしまいました。元旦那との離婚の原因は軽いモラハラに私が耐えれなかったからです。再婚予定の相手はとても優しく感情的になることもなく、私とも子供ともしっかりコミュニケーションをとるための時間をくれる人でそこに魅力を感じました。
再婚したら再婚相手の実家のそばに一戸建てを購入予定です。
来年上の子が小学生になるから拠点を置かないとという彼の意見でした。初婚で子供もいない上にまだ籍も入れていない私と子供達の為にそこまで考えてくれていたことにとても嬉しく思い絶対この人と一緒になりたいと思っています。

ですが元旦那の両親には私も子供達もすごく可愛がってもらい、初孫というのもあり、ずっと家が近所だったので週に３回から４回は顔を出していたので、縁を切るということに決断ができません。これまでよくしてもらったというのも充分彼に話していて、彼も良い人だねと言ってくれていたのに急に本音をぶつけられてしまい戸惑ってしまいました。

再婚された方など、どういう視点からでもよろしいのでアドバイスいただきたいです。
長文申し訳ございません。