姻族関係終了届を出して正式に他人になりましょうよ。
娘さんは血のつながりがあって孫であることにはかわりないので、本人が会いたいというなら合わせてあげればいいと思います。

ママ友が旦那さんが亡くなったとき、さんざん言われてました。亡くなる前は「あなたは他人なのよ」って度々言っていたのに、「今後私の面倒をみないっていうの？」とよく電話が来て困っていました。

一緒に住んでも心が休まらないと思います。孫に母親の悪口を言われたり、お金を入れるように言われたり、将来自分たちの世話をやがせようとしたりといろいろ想像できます。