夫の不倫は私のせい？

夫は女性好きで、以前から地元のビジネスの集まりで、複数の女性を口説いたり、相談と言って2人だけで飲みに行ったりしてました。
うちは商店をしているし、子供もいるので、噂になるような行動はしないように注意して、許してきました。
ところが、昨年11月に、地元の女性社長さん（既婚）のご主人から、内容証明が送られてきて、うちの夫との不倫関係が2年以上続いていると知りました。
私は第3子の妊娠が分かったばかりだったし、両方の夫婦4人で話し合って、不倫を終わらせることで納得しました。

その後、2人の不倫が、義父母（同居）の耳に入り、義母は、私が冷たい嫁だから息子が不倫した、と周囲に言いふらしています。確かに、女性と遊んでばかりいたので、少し冷たい態度のこともありました。
けど、私も甘くてすぐに許しちゃうし、妊娠もしたので、義母が言うような事はありません。
義母は、夫の遊びとか私の妊娠の事はしりません。
毎日、私が自分の息子をダメにし、店の信用を落とし、自分達が外を歩けないようにしたと言われます。

子供たちのためになんとか我慢してきましたが、義母の発言は止まないし、夫は自分の親に本当の事を話さないし、離婚しようか迷っています。
不倫相手のご夫婦は、つい最近、離婚しました。