不倫をしてしまった事への罪悪感で毎日苦しいしずっと家族に後ろめたい気持ちで接してる

去年の夏から年末くらいの約5ヶ月くらい魔が差してしまって特定の人と不倫関係になっていました。
今は完全に終わって連絡も取れない状態です。
でもその事でずっと家族に申し訳ない気持ちや、いつかバレるんではないかとか、色んな思いで毎日が苦しいと言うか、オドオドして自分の性格まで変わってしまいました。
何度も旦那には許して貰える貰えないは関係なく、話して楽になりたいと思ってはいたけど結局は言えずに、そんな自分へのモヤモヤで余計に苦しくなっています。
このまま墓場まで持って行って、ずっと家族に申し訳ない気持ちや後ろめたい気持ちで接しながら自分だけが苦しんで暮らして行くのが一番いいんでしょうか？