旦那の方が悪い。
自分のした事に責任と覚悟がないからそうなる。
でも4年も有る事無い事で疑われ続けたら疲れてしまう気持ちも分からなくもないかな。

旦那のせいでこんな事になったのに！って気持ちは今は置いといて、離婚したくないのであれば旦那の言う通り、今はそっとしておくのが一番だと思うよ。