解約できない

5日前にハイツを借りました。
敷金礼金0です。
今日部屋を掃除に行った時に1階のおばさんに合い、ご挨拶をしたのですが、そのおばさんからうちの隣の人は犯罪歴があり罪名が扶助暴行などの性犯罪が多数あると聞きました。慌てて不動産屋に行って解約をもとめたら解約金を払えと言われました。払わないと駄目ですか？そういう人が隣だとは聞いていません。