病気でも出勤しろって言われたら断れないよね？

インフルエンザが職場で超大流行してて、私も感染したんですが、感染した職員が多くて職員不足だからと圧をかけられて感染日数の規定より早く出勤しました。
治り切る前に仕事してたからやはり無理が祟ったのか、今度は肺炎と副鼻腔炎になってしまいました。
この件について職場に少し物申したら
「断れば良かったのに出勤してきた自分のせい。自己管理がなってないだけ。ここまで悪化する前にも休み申請や早退すれば良かったのに。」要約するとこんな感じのことを言われました。
上司から病み上がる前に出勤しろって言われ断れる人って少ないですよね？
全て自分のせいと言われ悔しいです。