あなたのご主人の事を怖がってる女性がいるから、この街から出て行って

先月、夫が不在の時に60歳ぐらいの女性がアポ無しでうちに来ました。
「あなたのご主人の改名前の名前は｡｡｡｡ですよね？あなたのご主人は未成年の時に、うちの娘を暴行したんです。　なのにのうのうと名前を変えて、この街に戻ってきた。うちの娘が怖がっているからこの街から出て行って下さい」
と言われました。

私と夫は年の差婚で、その事件があった時は私は産まれていません。

私の夫は改名しているのは事実です、それは画数と名前の響きが悪いのと、某芸能人に名前が似てて揶揄われるから改名したと聞いていました。

今、私達は新興住宅地にすんでますが、私の実家近くに住んで育児したい、という私の願いを聞いて私の実家近くに家を買ったんです。購入して半年も経っていません。夫は事実を認めました。

先週、ガーデニングをしてたらまたその女性が現れて、いつ引越しするんですか？と威嚇されました。落ち着いた口調
でしたが、目が据わっていて怖かったです。　夫は罪を償ったから引っ越す必要は無いといいますが、引っ越したほうがいいでしょうか？事情が事情なので警察には言えていません。