旦那が出世しないのは私のせい？

旦那は課長です。
本部長（課長→部長→本部長→取締役で偉い）から、家庭がおかしいというようなことを遠回しに言われたらしいです。
・部署の懇親会（飲み会）に参加しなかった。子どもが3歳と2歳の年子なのでどっちか寝かせてから行くように言ってますが、どちらも寝なかったりで結局課長になってから3年間で10回ぐらいあったけど1回しか参加してません。その参加した時も上の子に熱があり30分で帰ってきてと言いました。
・管理職以上の年に1度の飲み会に遅刻して早く切り上げた。その飲み会に参加したメンバー全員最初から最後まで2時間半いたそうです。この時は子どもたちを風呂に入れてから行ってと言いました。

飲み会って仕事じゃないですよね。仕事はできてるのにこんなことで昇進しないって変ですよね。子供達は年子だし手がかかるのに、私にわらせて自分は飲みに行くってありえるんですか？旦那は私のせいにして飲みに行こうとしてるのかもしれないし。本部長が言ったかどうが怪しい。もし言ってたらその会社やばいですよね。
みんな、なんて言いますか？