先生が他の子を注意していたのであれば、あなたが出ていっちゃった子1人だけ見てたら、他の子の安全が守れないのでは？
ちゃんと声をかけて連携とるべきかと思います。
そんなことで疲れるなら辞めたほうがいいかも。園のルールを守らないと、子供たちの安全が守れないし。