小学校、病気以外で休むのあり？

旦那、娘（小3）、私の３人家族です。
旦那は変則時間帯勤務で休みは平日、お盆年末年始の休み無し
私は日曜休みなので家族で出掛けることがほぼ出来ません。
変則時間帯なので週の半分は娘が起きている時間に顔を合わさないし、年に一回くらいなら学校を休ませて家族で出掛けても、と提案したのですが旦那は学校を休むことに大反対。
理由は「学校だから」と言われて全く意味がわかりません。「学校だから何？」と思ってしまいます。
実際行き渋ることもなく楽しく通えているので1日休んで家族で出掛けたところで何かが変わるとも思えませんでした。
他の子から、家族旅行行った！と聞く娘が可哀想で2人で近所のイベントに行ったりはしますが、やっぱり家族みんなでお出かけもしたいなと思います。
体調不良以外で休むのってそんなにダメなことですか？