飲み会許してくれない夫

20代前半、結婚3年目です。子供はいないです。
私は建築関係の仕事をしていてほとんど男性の職場です。
仕事での飲み会を夫が許してくれません。
夫が心配な気持ちもわかりますが職場のみんなは50代とかで私のことを娘のように可愛がってくれています。
夫は職場の飲み会で女性もいるし、友達ともよく飲みに行ってて女性もいます。
私は男性の友達がいないのでプライベートで男性と飲むことはないです。
不公平だと思いませんか？
もう飲み会を断るのも気まずいです。