繰り上げ返済についてアドバイスお願いします。

住宅ローンがあと500万残っています。子供は中学生と小学生で、この先教育費がかかるので今のうちに出来るだけ返したいと思っています。でも旦那はコツコツ返済派で、意見が合いません。
でも団信があるからといっても500万ならあまり関係ないし、利息がもったいないだけだと思うのですがどう思いますか？現在は月々6万くらいボーナスなしで返済しています。
家の貯金は全部合わせたら1300万くらいで旦那の年収は1000万です。
ご意見お聞かせください。