夫婦関係アドバイスお願いします

結婚15年の夫婦です。子供産まれて数年経った頃から夫が風俗に行ってる疑惑があり（証拠がなく否定された）、そのあと一時嫁EDになり証拠も出たので話し合いをして今後行かないと約束しました。が、その後も行ってることがわかり離婚の話になりました。夫は離婚したくないと、、、私も子供もいるし、家族としてなら過ごせるので離婚せずにいます。
ですが、夫から態度が冷たい、夫婦生活がないのは夫婦と言えない。夫婦生活まで拒否されて働いた金を使われるのが気に入らないと逆ギレ？されております。元々原因作ったのは夫なのになぜ私が責められるのか、納得いきません。夫婦生活も約束破られてから体触られるのも嫌だし、病気こわいから拒否してます。

最終的に夫から風俗は離婚事由にはならないと言われています。親権も譲らないと。

同じような経験した方いませんか？実際どうなのでしょうか？