夫の浮気未遂？から一年

私25夫26子1歳半
今だに夫が信用できません。
少しでも怪しいところがあると責めてしまいます。夫は「もう1年も経ってる」と言いますが私は「まだ1年しか経っていない」という気持ちですがわかってくれません。
1年前夫が同窓会で再会した中学生の頃の元カノM(既婚者、子供二人)とのLINEを見てしまいました。
Mは夫を食事に誘っていました。(この時は私に用事が入って夫に子供を見てもらっていたので実際会っていないです。)お正月には夫からMにあけおめメールを送っていました。その後の内容が夫「いつか俺がMの実家に挨拶に行けますように(笑)」M「それ言うの今じゃなければ叶ったかもしれないのに～H(夫)遅すぎる。後悔する前に頑張ってほしかった」夫「叶ったかもか(笑)Mは俺がよかったの？」M「えっHはMがよかったの？」夫「そりゃあね(笑)俺の本命はマナさんだからね(笑)」M「まじ？」夫「もちろん！」M「LINEだと言いたい放題ね！」夫「LINEだと本当のことが言える！」M「全て捨てる覚悟ある？」夫「考える！」ここで終わってました。夫は結婚前から女性と二人で遊ぶことが多かったです。(浮気していたかはわかりません。)
その度に喧嘩してました。結婚した私も悪いです。これを見た時本当にショックでした。夫は冗談だったと言っていましたが私はとても冗談だとは思えません。
しかし私も産後で夫に冷たくしたり、喧嘩する度に酷い言葉を言っていたので悪い所はありました。なので離婚はしませんでした。ですが夫はそれが原因ではないと言っています。
私は夫は反省しないと思い両親、義両親に話しました。そこから色々と揉めるようになって今喧嘩する度に離婚したいと言われています。実は夫に離婚と言われたのは2回くらい夫が実家に戻ったので離婚で大騒ぎになりましたが話して離婚せず。夫は子供と会えなくなるから離婚しなかったそうです。
つい最初夫に「お前はアスペルガーじゃないか？病院行きなよ。」と言われました。私おかしいのでしょうか…
我慢しない私がいけないと思います。どうしても思い出してしまいます。本当に記憶喪失になりたいです。
離婚を考えていますが、子供を思うと勇気が出ません。