バツイチとカミングアウトしたら

先日小学生の息子の所属するサッカーチームの慰労会があり参加しました。私は、長男長女(双子)が6歳、次男が2歳の時にいまの主人と再婚し次女を出産したのですが主人が年下と言うこともあり子連れ再婚したのか聞かれることも多いです。
子供達も事情は知っているし隠すことでもないので聞かれたら言える範囲で素直に答えているのですが先日の慰労会で
娘がいるのに再婚したの？性犯罪とか怖くないの？と聞かれました。
主人と娘はごく一般的な父娘の関係に見えるし主人に対して不安になったことやおかしいなと思った言動はないです。
バツイチで娘がいて再婚する人は珍しくないと思うのですが、離婚経験のない人からしたら気持ちが悪いのでしょうか？
私にはその考えはなかったのでびっくりで…
そう思う人どのくらいいるか知りたくてコメント欲しいです。