ふつう義祖父なら葬儀を優先すると思います。
職場の人も、「え？なんで仕事来た？」って思わないでしょうか？
もし旦那がわたしの祖父の葬儀を主と同じ理由で欠席したら
ひとでなし！って思っちゃうかも

わたしも時短正社員で復帰して子どもの熱とかでしょっちゅう休んでしまっていますが
さすがに葬儀には行きます