旦那が会社の女と浮気…その後

去年の夏に旦那が会社の女と浮気してるのが発覚し、相手の女と会って誓約書を書かせて終わりにしたのですが、実は私も旦那と同じ会社に勤めてて去年の3月に私は産休に入って女は4月入社の新入社員なんですが私は今年の4月に復帰予定なのですが、仕事に行くのがかなり憂うつで女の顔を見るたびに思い出すだろうし、今現在も新年会だの飲み会だの行ってて女とまたなにかあったら…と思うと頭がおかしくなりそうなんです。私が仕事辞めればいいのかもしれませんが、子供二人いて今の職場は融通が聞くので辞めたくないのですが、やはり私が我慢するしかないのでしょうか？私と同じように旦那さんと同じ職場で、浮気相手も同じだった人はいますか？意見お願いします。
文章力がなく、読みづらくてすみません。