飲めない飲み会

お酒が全く飲めません。子供の手も離れ数年前から忘年会や新年会の誘いも増えました。いつも介護を理由に断っていましたが最近姑が施設に入居したので断る理由がなくなりました。飲み会は夫も賛成で、まわりの方もご存じですが私が参加すると場が白けないか心配で気が引けます。皆さん飲んべえばかりで会計もすごいと聞きます。
みなさんのまわりに飲めない人がいた場合気を使いますか？気にせず参加している方はいらっしゃいますか？以前酔っ払った方に、飲めないヤツは帰れと言われたので恐縮してしまいます。