酒が入るからこそ話せる事もあるし、相手の人生の背景の一部を知る事もある。
社長が言う「器とか視野とかその辺がもっと欲しい」と言うのはそういう所もあるのではないですか？
仕事さえ出来ていれば出世できるはずと考えているようですが、そればかりでは難しいですよ。

仕事の力量が同じ人間が二人いたとして、
片方は多少のプライベートな時間を割いて飲み会に出席し、部下の相談に乗ったりその部下の生活の背景を知っている。
もう一人はプライベートは家族の為に使い、殆ど飲み会に参加しない為に仕事以外の部下の事は何も知らないに等しい。

部下の立場としてどちらに相談しやすいですか？
上司の立場としてどちらが職場の状況を把握していると感じますか？
会社の立場としてどちらが魅力がある人間だと思いますか？

人間関係が円滑になれば、相談しやすくなりミスやトラブルも軽減されるでしょうし、仮に何かトラブルが起きても助け合いやすくなります。

飲み会も強制すればパワハラと言われる昨今ですので、参加したく無いなら参加しなくてもいいと思います。
でも、旦那さんは参加する意思がないわけでは無いのですよね？
上記のような事に覚えがあるから参加しようと思っているのでは無いでしょうか。
私は年に数回ならば気持ちよく送り出し、参加して貰った方が良いと思います。