上手く別れる方法

シングルの時にお付き合いしてた人がいます
シングルで一軒家を購入する準備などしていたら
彼が頭金2、500万だしてくれました
私はその行為に甘んじて出してもらいました
それから7年が過ぎ
大喧嘩がきっかけで私は気持ちが冷めてしまい
あまり会わなくなりました

そのタイミングで一級建築士の彼と出会い
去年再婚しました
その家とは電車で数件隣りの新居で生活してます

その購入した家は今は息子が住んでいます
たまに帰ったりしてるので
元カレは気付いていません

何度か別れを告げたら「金返せ！」と脅され月一くらい会ってただ食事をして帰っています身体の関係は一切ありません
（お付き合いしてる頃からも全く無い）

その人と上手く別れる方法など教えて欲しいです