職場の保育所に預けて辞める

先月から、事業所内保育所(会社にある保育園)に２歳の娘を預け介護職をはじめました。
保育所自体は同じ敷地内にあるのですが、他のところで働いていても預けることは可能です。
介護の仕事は全くの未経験で、保育園があるという理由だけで決めたのですが
いざ働いてみるとやはりとてもキツく
職場の方にもいつも怒鳴られながら体力的にも精神的にも参っています。
甘いかもしれませんが、今とても辞めたいです。
仕事の事を考えるとイライラし娘にもあたってしまいどうしていいのかわかりません。
来月のシフトが決まる前に辞めたいと伝えようと思っているのですが
やっと保育園にも慣れて楽しく通っている娘を思うと悩みます。
保育園は２歳までと決まっているので来年から幼稚園入園です。
来月から他の仕事を見つけて保育園はそのままということも考えていますが
同じ敷地内なので辞めた後も送り迎え時に職場の方に会いますし
そもそもそこで働くことで入園したのに辞めて他の所へというのはやはり非常識でしょうか？
長文なうえ、文章力もないですが
厳しい意見、アドバイス、なんでも良いのでお願いします。