子持ちパート、残業すべきだった？

今春、末っ子が入園したのを機にパートを始めて、数カ月になります。　
パートにした理由としては、帰宅後もワンオペでの家事育児となる為、上の子の習い事の送迎の時間を考えての事です。
そして子供の病気で休む事もある為、職場になるべく負担をかけないようパートにしました。

契約時の就労時間は９時３０分〜１４時３０分
ですが、朝余裕がある時は９時に間に合うように出勤したりしています。（もちろん社長から了承を得ています。）
昨日は子供の通院の為にお休みを事前にお願いして
おりました。
午後から仕事が忙しくなり、なるべく少しでも業務をさばかせようと頑張りましたが、すぐに退勤の時間になってしまい、
中途半端になってしまった事を謝罪して、帰宅しようとした時に、上司から「もうちょっと長く預けて働けないの？」と言われました。
いくらパートとはいえ、周りの状況に合わせて残業すべきだったのでしょうか？
悩みながら帰宅しました。