5年もという言事はすでに500万ってことでしょ。
息子に言わなくてもよいとはいえ義父と息子は親子
わたしだったら夫婦で隠し事は嫌ですね。
夫が返せと言うのなら返します。
元々なかったお金です。それでよし。
義父が大金持ちで生前贈与という考えだったら息子のいる前できちんと言うべきだし、、こそこそやる必要はないと思うけどね。