旦那が子どもの貯金を使い込んでいた

私の祖父母が子どもの名義で貯金をしてくれていました。
我が家でキャッシュカードを保管しておたのですが、ふとした時にキャッシュカードの保管位置が変わっていたことに気づいて、カードを確認したら、殆どお金が入っていませんでした。
最終的に旦那の使い込みが分かったので、私の両親と義両親にも連絡し、義両親が旦那の使い込み分を払うことになりました。
ただし、義親から条件をつけられて、離婚はしないことと この話しは無かったことにすること
と言われました。
自分は離婚する気でいたので悩んでいます。
このまま結婚生活を続けていても旦那に不信感しか残りません。信用できません。
ただ、子どもの将来のことを考えると、義親から旦那の使い込み分を返金してもらって、割り切った方が良いのかともう思ってしまいます。