保育園で働いてます。管理職ですがパートさんから

裏で陰口を言われてます。というのも子供達が全員帰り早めに終わった日もやることがないのに上がらせてくれない。以前は主任が子供達がいなければ早めに帰っていいですよと言ってくれましたが時給なので時間までちゃんといなければいけないと私がパートさん達に話しました。また出勤してすぐ、子供達を受け入れる30分前に環境整備をさせられるがそれは私達の仕事なのか？と。私は頭が堅い、臨機応変じゃないと言われてました。私が悪いんでしょうか？