みんななら連れて行かせる？

旦那が会社の泊まりの忘年会に子供（３歳）を連れていきたいと言ったので、私は夜遅くまで飲むだろうし、タバコ吸うだろから、何かあっても困るし、連れて行くのはダメと言いました。そしたら、旦那にケチと言われました。（他にも子供を連れてくる方もいるみたいです）
私は神経質過ぎなんでしょうか？皆さんなら許しますか？意見が聞きたいです。