別れた旦那に養育費をもらっている方へ質問です

25で結婚し息子を出産しましたが離婚し、母子家庭で暮らしてきました。息子が小学3年生の時に職場の同僚と付き合い妊娠、再婚し娘を出産しましたが、その時に彼の結婚前の借金200万円を肩代わりしました。
子供を産みたかったし、愛情もありました。（今考えると共依存だったと思いますが）
借金の理由は親のサラ金の肩代わりと、本人のパチンコ。親も弟も借金で家賃滞納、それもすべて妊娠するまでは隠されていました。
夫は出産してからもパチンコを止めず、義父母からも「出戻りがうちの息子と結婚できたことに感謝しろ」と言われて、15年耐えましたが私に内緒で娘からお金を借りていた（お年玉）のを機に離婚しました。
離婚するために資格を取り、貯金もしてきたので、今は正社員の仕事に就き、子供と三人でマンション暮らしをしています。
元夫からは養育費を月5万円もらっており、肩代わりした200万円は弁護士に依頼して債務処理をしたら250万円弱になったので、そのままもらいました。
息子は働いているので、月に5万円を家に入れています。
私は給料＋10万円で生活をし貯金して、児童手当も貯金しています。
娘は年に2回父親に呼ばれ泊りに行きますが、元夫は昼間は娘を置いてパチンコへ行き、夜はスーパーのお惣菜を食べて1万円程度お小遣いをもらって帰ってきます。
娘は夫の借金癖を知らないので特に不満もなく、お父さんはお母さんに捨てられた可哀想な人…と思っているようです。
私の趣味はマラソンや登山で、年に数回格安飛行機で各地へ行き、安宿に泊まって友達と遊びます。その間は息子と娘で仲良くやっているようです。
親や兄弟も健康で、私の理解をしてくれていて、いずれは私が親と同居しようと思っています。
ですが、いまだに夫が借金をしているそうで、銀行やカード会社の連絡を私の携帯電話にしていたため連絡が来ます。
金額はさほどではなく、銀行のキャッシング枠30万円を借りたままにしていて利息が年に10％程度付いているのを放置しているようです。
私に関係ないということは分かっていますが、養育費の支払いが滞ったらと思うと不安です。
そして、夫から養育費をもらっている私が自分の趣味で出かけたり、欲しいものを買ったりすることに罪悪感を感じます。
遊ぶ金があったら月5万の養育費は貯金すべきではと日々思います。
仕事や友達、家族に恵まれている自分が怖くなります。
夫を捨てた自分がこんなに幸せでよいのかと。
もっと子供のために我慢しないと罰が当たるのではないかと。
周囲にもそう思われているのではないかと。
同じように離婚して養育費をもらい生活をしている方々のご意見を伺いたいです。