旦那さんに「あのとき～～言われてずっと心に引っかかっている、正直今でも傷ついている」と言ってみたらどうですか？
覚えて無いなら病気ゆえにこの人頭おかしくなってたんだろうなと思い忘れる。
覚えてて「ごめん」と言われたら素直に許して忘れる。
今でもそう思うと言うのなら、あのときの苦労を感情的にならずに淡々としゃべって、何日か子供と実家に帰らせてもらってエネルギーチャージしてみてはどうですか？そして子供はこれ以上作らない。

主さん、本当に偉いと思うし、子供はそんな主さんをみて育ってるから良い子になるんでしょうね。
旦那さん、変われるといいですが、もし変わらないなら、子供が巣だったら自分の人生を大事にしてくださいね。