私も飲まないけど、飲み会なんてそんなもんだよ。
よく食べる人と食べない人も同じ金額出すでしょ？
主がもし下戸なら周りも気遣ってくれたかもしれないけど飲める人なんだし、その日飲んでたか飲んでなかったかなんていちいち見てないと思う。
飲むことだけが目的の集まりだったら実費徴収だろうけど、飲み会の目的って親睦や交流、ストレス発散などだろうから、損得言い出すと歪みが出るよ。