特急乗るな、快速で帰ってこい

4歳と1歳の子を2人連れて実家に帰ってきてます。高速バスで東京駅まで帰ってから、自宅まで帰るのですが、荷物も多いし、電車が満員の時間なので夫に「特急乗って帰るね」と伝えたら「快速で帰ってこい、特急なんて無駄遣い」と言われました。
「じゃあ、途中まで迎えにきて」と伝えたら「無理」と言われました。
長旅で特急使うのはダメでしょうか？下の子は抱っこ紐でリュック背負って、上の子も疲れた！と抱っこなので、本当きついです。