どう思いますか？

昼間もトピ立てて、その流れからなんですが、簡単に言うと旦那が昨日忘年会でしたが、同じ上司と今月あと2回飲みに行くと言い、そのうちの1回はキャバの女の子2人と飲みに行くみたいです。つまり旦那含め男2人、女2人です。
なんかモヤモヤしていたので先程「飲みに行くのは付き合いだし、女の子にちょっかい出さないなら全然行ってくれていいんだけど、私も友達の付き合いでそういう状況があって今迄悪いと思ったから断ってきたけど、これからは行ってもいいんだよね？」と言ったら不機嫌になり「は？キャバの女なんて仕事だろ、お前のはプライベートじゃん」とキレてきました。
ご飯食べてその後同伴するならまだわかるけど、同伴するのかもよくわからないと言っていたので、プライベートと同じなのに何が違うのか全く納得出来ません。
私の感覚がおかしいと思いますか？