私も本当に行きたかったけど断るしかなくて断ったことがあるよ。
伝わってると思いたい。
一応、社交辞令とは違うんですよってことをアピールするために「土曜より金曜のほうが予定あけやすい！」とか「来月無理かもだけど再来月ならたぶん行ける！っていうか行く！」って感じで具体的に言うようにはしてる。