旦那の実母に対する対応。注意しても治らない。会わせないようにするのは酷すぎますか？

義母は旦那が生まれてすぐ離婚して1人で子供を育ててきました。現在85歳で少し認知症の症状がありますが、まだ一人暮らしが可能と言われています。
義母宅と我が家車で30分程度の距離。1人一台車を持っているような車社会のような地域なので車で30分は近くに住んでいるという認識です。

耳が遠いのと、何度も同じ話を繰り返したりすることに対して旦那が義母にかなり厳しい態度をとります。
私は何度同じ話をしても毎回初めて聞くように返事をするし、耳が多いことに関しても耳元で言ったり、紙に書いたりで義母とはコミュニケーションをとっています。旦那には何度も「そんなに怒ったり、厳しい態度を取らないで」と言っていますが治りません。
そんな態度を取られて義母も可哀想だし、私だけでも対応できるから、旦那には義母に会わせないようにしようかなとも思っていますが、それは酷すぎますか？
また、義母は一人息子にどんな態度をされたとしてもやっぱり息子には会いたいものなのでしょうか。