わたしはパートなのに、休みすぎだと言われた

こどもは中三です。
子どもが部活でなく市外のクラブに所属しているため、
送り迎えもあり、夏休みなんかは平日も遠征や活動があるので休ませてもらっています。
有給はフルで使って、足りなければ普通の休暇をもらいます。

新しく来た店長に、パートとはいえ休みすぎだと言われました。
そんなに子どものクラブ活動に熱心になりたいなら辞めるのはどうかと言われました。
わたしが頻繁に休むことで、まだ子どもが小さい正社員が子どもが熱を出したとき無理してどこかに預けて来ているのが何回もあると。

でもわたしはずっとその店に勤務して誰よりも経験があるし、
わたし自身辞める気はあまりありません。

正社員よりも、パートの方が融通が効くと思ってパートで働いていますが
休むのってダメなことなんでしょうか？