職場で忘年会があるんだけど

3ヶ月前に入ったばかりの職場。私は事情があり旦那から飲み会禁止されてるので不参加を伝えた。そしたらバイトの子（男）が「○○さんが行かないなら俺も行かない。○○さん行きましょうよ」と言ってきて、更に店長も「是非来て欲しいんですがどうにかなりませんか」と。
どうにもならないので行けませんと言ったけど、ここまで言ってくれてるのに断るのも申し訳なくなってきて悩んでいます。

ちなみに禁止されてる事情というのは私の浮気です。自業自得なので仕方ないですかね。。