別れた旦那と子供を会わせたくない理由。正直に話すべきかな

高2の娘がいます。娘が3歳の時に離婚し、今まで会わせていませんでしたが、最近になりやたらと父親について聞いて来ます。
はっきり言われた訳ではありませんが、会いたいと思ってるのだと思います。

子供には会う権利があるのは分かっていますが、私は会わせたくありません

その理由として、性への倫理観がおかしい事です。
離婚前も浮気が何度かありましたが、相手は全て身近な人物でした。
離婚後に聞いた話ですが、高校生の姪っ子にも手を出したとかで揉めていると聞きました。
つまり、相手が誰であろうと手を出す様な人間なので、例え我が子であろうと3歳から会っておらず、目の前に現れた成長した娘にも手を出すんじゃないか？との心配があります

もし会いたいと言われたら、この理由を正直に話すべきか迷っています。
理由が理由なので、この理由を聞いて自分の父親がそんな人間だと知り、娘が傷付かないかが心配です。