言葉の裏を読んで欲しがる人っているよね。
いったん遠慮するけど実はもっと強く誘って欲しいとか、
「これは自分の意思じゃなくてあなたの意思だからね」という形にしたいとか。

面倒なので、こちら側としては言われたままの言葉通りに受け取るという姿勢を貫いたら？
「都合が悪いのよー」「そうなんですねー じゃあ結構です」でいいよ。