心中お察しします。同じく持病で運転免許を持てない1人です。
主さんのところは善意と違うようですが、善意であってもやはり気を遣いますよね。
キッパリ「公共機関で行けるところは自力で行くようにしているの！」と言ってみてはいかがでしょうか？向こうが持病について知っているなら、「だから人一倍意識しているんだ。嫌とかじゃなくて、自分のためでもある」とやんわり伝わるように返せば、少し頻度は減ると思います。