私が今彼の立場なら、愛人生活でもしていたのかなと幻滅しますし、その家には入りたくもないです。

とりあえず今彼のことは置いておいて、それだけの贈与と付き合いの期間も考えたら事実婚までは無理でも婚約していたとみなされるかも。
弁護士に、婚約不履行の方向でうまく話をつけられないか相談してみたら？
うまくいけば、さすがにチャラにはできないかもだけど2500万円返すよりはマシになると思います。