夫からの離婚申し出は離婚しなくても良い？

夫の不貞行為が発覚し、その後その女が妊娠したかもという理由で離婚を頼まれました。
結婚して14年夫はよく外に遊びに行くので夫婦仲はそう良くはありませんでした。いつの間にか私も一人で遠出や旅行など気晴らししていました。私との間に子はいません。
不妊治療も諦めたというか休憩と言うかそんな中での出来事です。

私の中では離婚は有り得ないことです。伝えられてすぐなので感情的にもなりそう、内心はなっていますが10歳も若い人が不倫相手だと知り少し不憫にも感じます。
不倫相手も私と離婚するように話していると言っています。
妊娠はまだハッキリしてませんが、どちらにせよ私は分かれる気もありません。
それでも夫から裁判沙汰とかにされたら別れなければいけなくなりますか？夫婦の不仲は長い付き合いだとそれなりにあると思ってやって来たのにそういう事が理由にされそうです。とにかく私は離婚を考えていないのですが離婚しないで済むでしょうか？
どうしてもしなければならないなら、いつになるか分からないけど私のタイミングで全てを決めさせてほしい。私が嫌気がさすまでなのか、飽きるまでなのか、今はわかりません。
向こうからの話は一切のみたくありません。