旦那を抜きで子供と海外旅行

サービス業正社員です、土日・大型連休・年末年始は仕事で有休が平日しか取れず、また取れる時期も限られています。
旦那は、土日休みの会社員で平日に休みが取れません。
有休で小学生と年中の子供と、私の母とで海外旅行に行きたいと考えていますが、旦那に反対されました。
俺抜きで旅行に行くのはけしからんということらしいです。
年収は旦那が多いですが、今年の年収は海外旅行代金分くらいはアップしています。
そのアップした収入分から支払うので、旅行については家計のお金は一切手をつけるつもりはありません。
だから旅行に行くのは自由だと思うのです。
旦那は自分だけ仕事の都合でいけない事が嫌なんだと思いますが、仕方がないし、反対する意味がわかりません。
旦那は私や両親が俺抜きで旅行に行くなんておかしいと言います。
どうしたら、旦那を納得させる事ができますか？