仕事を休んだ時

一昨日入院中の祖母の具合が悪いと連絡が来た為、昨日旦那も私も急遽休みお見舞いに行きました。
朝子供を送り出しすぐに電車で出掛けました。
お昼ぐらいには病院が終わり乗り換えの新宿で旦那と遅めのランチをしてました。
そしたら昨日シフトが入ってないパートの人に会いました。
「仕事休んだのに何してるの？」と、私は休んだ理由も話をしたけれどサボってると言われました、これはサボリになるんですか？