中1兄と小3妹の2人だけで留守番出来ないのは過保護？

先週実父の手術がありました。2回目の手術です。
父は心臓が悪くペースメーカーが入っています。
今回検査で異常が見つかり開胸手術をする事になったのですが、私は行けず母親、兄、義姉（兄の奥さん）が立ち会ってくれました。
今回私が立ち会えなかったのは、旦那が休みを取れず、中1兄と小3妹の面倒を見る人がいなかったからです。
実家は新幹線で30分、そこから電車で30分程とそこまで遠い訳ではないのですが、母から「こんな時位1日2日兄と妹だけで留守番させる事は出来ないのか？それか一緒には来れないのか？」と打診されたのですが、中学の入学準備がある為一緒に行くのは難しい、兄は自分で料理も出来ないし頼りないから2人だけで留守番させるのは無理と伝え断りました。
その後兄から電話が来て「毎年夏休み冬休みはこっちに帰ってきて散々親に頼ってるくせに、こういう時は来れないってどういう事？1週間も2週間もいない訳じゃないし、ご飯はレトルトだってあるし最悪コンビニだってあるしちょっと過保護すぎるだろ」と叱られました。
でも万が一何かあったらと思うと心配ですし、子供だけで留守番させるのはさすがに気が引けます。行かなかった私が悪いのでしょうか。