自分の結婚出産の経緯をなぜか知られている、怖い

20歳以上歳の離れた既婚者（パートナー）とのあいだに3人子供を産みました。

パートナーは本妻とI県に住んでます。
私は都内に移り住み、実質シンママで子育てしています。
パートナーの名字は希少名字です。

パートナーは一瞬だけ本妻と離婚して私と入籍し、また私と離婚したので、私と子供達はパートナーの名字を名乗っています。

子供が3人いますが、真ん中の子の保護者会の雑談で、とあるママさんから
｢もしかして、ご主人はI県出身で、スポーツやってるでしょ！！？　
I県出身で++という名字のスポーツマンと知り合いなんだけど。
その人と、あなたのお子さん、顔が激似だから。あなたのご主人の名前は++**じゃない？私、15年前そのスポーツの団体で働いていたので！｣
と言われました。

スポーツの種目もパートナーと完全一致して名前も完全一致です。
そして子供たちの体型も顔も全てがパートナーに激似です。

人違いですよーと誤魔化しましたが、やっぱり結婚の経緯まで知られていると思いますか？