児童扶養手当の不正申告について

この度児童扶養手当の更新時期になって書類を書いていたんですが離婚日が曖昧になっていてしまいこんでいた調書を確認したところ申請していた養育費と調書で取り決めした養育費がまったく違うことがわかりました。
私の記憶違いで養育費２万、慰謝料３万の計5万だと思っていたのですが養育費４万、慰謝料1万の計5万でした。離婚して３年程経ちいつ頃から勘違いしていたのかわからないのですがとんでもない金額を返還することになるのでしょうか？また今年から正しい金額を申告したとして去年と比べられて･･･ということになるのでしょうか。それとも今年の分しか確認しないのでしょうか。明日急いで役所に確認しに行こうと思っているのですがシングルで経済的余裕はないので莫大な金額を返還しなければいけないのか不安でいっぱいです。また罰則も不安です。養育費は８割が収入とされると聞いてそれによって税収や保育園の利用料なども変わると思うのですが色々な方面に影響が出そうでとても怖いです。自分がきちんと確認して申請しなかったことが悪いのは重々承知なのですが詳しい方、関係する事を知っている方なんでも良いのでコメントいただけると嬉しいです。