元旦那と子供について

離婚して半年、息子はもうすぐ４才になります。

旦那の浮気・借金・ギャンブル、しまいには窃盗で警察に捕まり、離婚しました。
結婚生活は５年間で終わりました。

最近元旦那が子供に会いたいと言っています。

養育費を貰っているので、向こうに会う権利はあるんですが、正直会わせたくないです…

皆さんなら会わせますか？

ちなみに息子はパパのパの字も言いません。
もともと浮気などでほとんど家にも帰ってこなかったし、別居期間もあったので、息子からしたら居なくて当たり前なのかもしれません。

会わせたくないのは、やっぱり私のエゴなんでしょうか？

ずっと迷ってます。