想像ですが相手の奥さんが「遊びすぎ」って言ってるってことは結構な頻度で集まっているんじゃないですか？旦那さんが遊んでいる間は育児は奥さんが一人でやっているのかなぁと思うと、家庭を持って子供もいる以上最優先は家庭ですよ？
少し距離を置いてみてもいいのでは？
私の夫も友達数人で集まる機会を持ちますが、年一です。既婚者はそのくらいにして家族の時間をちゃんと持たないと配偶者の不満が溜まっても当たり前だと思います。