全然断ってもいいと思う！私は急に熱やインフルで出れない人の代わりに出れませんか？と言われて一回も断らず出勤してたけど。無理に行く必要はないと思うよ。
うちの場合は何があるか分からん職場で休みだと思ってたらシフト変えられてて出勤日だったって事が何回もあって慣れてた笑