パートの責任、どこまで？

普通の接客業のパートです。
でも、仕事内容が接客の現場に加え
発注&品出し&返品&毎月末に棚卸（2ヶ月前から担当になりました）

発注&返品&品出しは業者さんが年末年始休みだから年末にやらなきゃいけない事はありません。
来月の棚卸はどうなるのかと上司に確認したら「棚卸は大晦日でもやってるけど、家庭優先でいいです。」との返答。

遠方の旦那の実家へ車で帰省する予定です。
頑固な旦那で必ず家族で帰省する。
短くても大晦日から3日までは帰省する。
という。
「年末年始、職場人足りないから出勤しないと」言うと
「たかがパート。1人いなくても回るだろ！バイトもいるじゃん！パートがそこまで責任持ってしなくていい」と旦那に言われました。
まだ不慣れだから、月一の仕事をつぎにできる自信がないです。
1人遅れて行くのは交通費勿体ないしありえないと言われました。

どう思いますか？