お隣さんからお金を頂いたんだけど、家族が怒ってる

主家族は今の家に1年前に引っ越してきました。隣人は高齢者の一人暮らしで、子どもが好きな人だったのでうちの子とよく遊んでくれました。私や夫も、隣人の買い物を手伝ったり病院に付き添ったりと、かなり親密なお付き合いをしてました。
今月から施設に入居するので、挨拶に来てくれました。その時に弁護士さんと一緒に来て、お世話になったからとかなりの額のお金を頂きました。資産家だったようですが全く知らなかったので驚きました。
その事を知った隣人の家族が、主家族が丸め込んでお金を騙し取ったと怒っています。嫌がらせに発展しそうなので怖いのですが、耐えるか引っ越すしかないですか？