体調不良で長距離移動、慣れない環境は今は特に駄目でしょう。病院も見つからなくなるよ、発熱や風邪症状まで出ると。
旦那に全て任せる(通院等)そちらで体調不良になってもちゃんと病院連れていく、看病すること、だけは約束させて二人で行かせたら？
遠方からの帰省で孫が来ないって、大きな病気や障害でもあれば別だけど理解されづらいとは思うよ。