こんな環境で育ったら可哀想と言われた

近所のショッピングモールで食事後主人と3歳の娘がトイレへ行き戻って来ると娘が子ども用の手洗いで手を洗いたかったとグズグズ。
食事前に女子トイレに行った際に、そこで手を洗ったのでそれを覚えていたようで。
主人が抱っこして手を洗わせたようなので、そのまま説得しながら駐車場へ戻ったところ、「おしっこ！女の子用のトイレへ行く。」と。
トイレの場所が駐車場と真反対で遠かったのと、生理中仕事後で疲れていたのもありイライラ。
車で漏らされても困るので連れて行きつつ、つい感情的に怒ってしまいました。「さっきトイレ行ったんじゃないの？なんでもっと早くに言ってくれないの？」と。「手洗いたかったの！」と泣く娘にさらにイライラしトイレの中でも怒ってしまい娘は大泣き。
その時トイレの扉をどんどんされ、出てみると仁王立ちで手を組んだ女性に「そんなふうに怒って子どもを泣かせて可哀想。児相もんですよ！」といきなり言われ、「何も知らないのに家庭のことに口出さないでください」と言ってトイレから出たあと、その女性も出てきて旦那さんらしき人に大きな声で「虐待だよ！叩いてたんだよ！」と。
怒ってはいたけれど、叩いたり暴力は全くしていません。ついかぁっとなって「叩いてはいません！勝手に話を作らないでください」と相手にしてしまいました。そして「こんなに怒られて泣いて虐待だよ！こんな環境で育てられてて可哀想！！」と。
確かにそんなに怒ることでもなかったのは自分でもよくわかっています。
怒ってしまうと子どもの寝顔を見て反省して、ごめんねと抱きしめて。でもイライラしてしまう時もあります。つい感情的になってしまうこともあって、それを言われてから母親失格なのかなと毎日落ち込んでいます。
ついイライラして怒らなくてもいいことを怒ってしまうことってないのでしょうか？