義母のお見舞いに行きたくない

母が、月に数回通院で抗がん剤治療をして3ヶ月たちます。旦那は、わたしに母の様子をきいてくれますが、一度も実家に顔を出してくれたことがありません。
そんな中、先月義母がリハビリ入院しました。旦那は仕事終わりに週５回ほどお見舞いにいってます。旦那がいけない時は、わたしにお見舞いにいくようにお願いしてきます。

義母はリハビリなので、会うたびに機能がもどってきたり元気になっています。
母は体重もものすごく減り、元気がなくなってきてみていて辛くなるときがあります。
比べるものじゃありませんが、義母のお見舞いに優しい気持ちでいけなくなってきました。
お見舞いにいくことを断ってもいいでしょうか。

義母の病院も実家もどちらも同じ市内になります。