延長保育は子供に可哀想ですか？

４月からパートが決まったんですが、時間が５時までで延長保育しなければなりません。
本当は保育園が終わる４時までの仕事がよかったんですが条件に合う職場がなかなか見つからず、決まったパートは終業時間は遅いものの、子供の行事や急病での休みに理解のある職場だったし、もう後がなかったので今の職場に決めました。

実母や義母に一応報告したんですが、揃って延長保育なんて子供が可哀想と言われました。他のみんなが先にお母さんと帰って行くのを、寂しい思いさせながら毎日遅くまで保育園で待たせるなんて…。と。

それは私も自分でも薄々思ってましたが、やっぱり身内から言われると辛いです。しかも年少で入園後、慣らし保育が終わると同時に仕事＆延長保育開始なので、余計心配されています。
子供の事を分かってくれる職場がここしかなかった…などと理由は話したんですが２人とも腑に落ちない様子で、とにかく孫が心配、可哀想と言います。母達の世代は、女は家にいて家族を迎えるもの、子供がある程度大きくなるまでは母親が働きに出るなんてとんでもないって時代だったので、余計延長保育までさせて働くのが理解できないんだと思います。

せっかく仕事決まったのに、身内から理解されないのは本当に辛いです。延長保育はやっぱり可哀想な事なんでしょうか？家計がカツカツなのでどうしても働かないわけにはいきません。