妊娠、出産だけでも大変なのに、このような不安を抱えたままでは心身とも良くないですよ。
この際縁を切って、ご主人にも勿論相談して、少しでも離れた場所に引越しされたらどうですか？
悩んでいるということは、もしかしたら祖母は喜んでくれる、と思っていますか？
その見込みがあるなら報告すれば良いですが、その逆で、喜んでくれないだろうけど、報告して乗り越えたいというなら、そんな苦行はお腹の子のためにもやめなさいと言いたいです。