環境によるんじゃない？
うちの職場は小さい子いる人パートでも社員でもたくさんいるけど何も言わないしみんな「大変ねぇ」ぐらい思ってるよ。
子供いない人はどう思ってるか知らないけど子育て経験者は理解してるから何も言わない。
休みあとに出勤した時ちゃんと「すみませんでした」と言ってれば大丈夫。