生後三か月の赤ちゃんを置いて送迎したら怒られた

義姉から生後三か月の赤ちゃんの世話を頼まれました。というか、無理矢理押し付けられました。
緊急を要することだったので14時に娘のお迎えがあるから、必ず13時30分までに迎えに来る約束で引き受けました。
しかし13時30分を過ぎても迎えに来ず、連絡もとれず。この灼熱の中、抱っこ紐もない状態で赤ちゃんを片道15分の場所に連れだすこともできず（義姉は車で来ました）。でも娘のお迎えにはいかなくてはならず。本当に何度も何度も連絡をしたんです。でもつながらなかったから、クーラーの効いた部屋に寝ていた赤ちゃんを置いてお迎えに行きました。義姉には「鍵は開けておくので、連れて帰って下さい」と連絡を入れておきました。
娘を連れて帰宅すると、義姉が烈火のごとく怒り狂っていました。「こんなに小さい子を置いて出かけるなんてありえない！！！」と。「虐待に近い」「信じられない」などなど…。
自分のやったことを棚に上げて、「赤ちゃんを置いて出かけたヤバい人」という事実だけを責めてきます。義両親からも「無責任」だと怒られました。義姉旦那からも「そんなことができる人なんだね」的な感じのことを言われました。

これって私が悪いですか？もちろん赤ちゃんを置いて出かけたのはいけなかったと思うけど、どうすれば良かったでしょうか。変なことに巻き込まれて本当に辛いです。