断ることが得意な方、教えてほしい。

社内の飲み会、その他、子供絡みの付き合い、人からの誘いを断りたい時。

相手を不快にせず断る断り方はある？

社内の飲み会があるのだけど、何を言っても、毎回、飲み会のたびに、都合を合わせます、都合がいい日をご連絡下さいと言われる。
祖母と同居の旨、伝えてあるので、子供を理由にもできず、断る理由が見つからない。
難色を示すと、あまり行きたくなさそうですね、と別の人に言われる始末。

断る人は、何か気をつけていることはある？
嫌われる覚悟？