お盆休みに旦那の祖父の家に行くのは当たり前？

お盆休みに、旦那の祖父の家に行かなきゃならないんですが…
私はあまり行きたくありません(*_*)だって、うちは埼玉で、祖父の家は岩手で、うちから車で5～6時間かかるんです｡しかもお盆休みの3泊4日…このｸｿ暑い夏に子供2人(4歳児と8ヵ月の赤ちゃん)連れて5～6時間かかる場所へ行くなんて‥環境変わって泣いたりしないか、夜泣きしないか、もし熱などが出てしまったら、とか考えると不安でたまんなくて↓旦那に不安を訴えたら、そんなの理由にならない、どうにかなるとしか言いません！
気が重いです↓でもやっぱり行くのが常識なんでしょうか？意見お願いします。