『みんなのトイレ』使ったら非常識と言われた

女子トイレが列を作っていて並んでいました。
横を見ると「みんなのトイレ」（多目的トイレ）が空いていました。
障害者優先は別にあり、みんなのトイレには「誰でもお使いになれるトイレです」と書いてあったので私は入りました。男女関係なく使えます。
すると出てきたら目の前にいたおばさんに「常識ない人！」と大声で言われました。
「ここ、誰でも使っていいみたいなので良かったらどうぞ」と言うと、並んでいた就学前くらいの子がいる親子が入っていきました。
みんなのトイレって書いてあるのに、使用するのはダメなんでしょうか？
並んでいなかったらもちろん女子トイレに入るけど、並んでてみんなのトイレが空いてたらそこに入ってもいいと思うのですが。
一応、サービスカウンターに聞いてみたら「大丈夫ですよ」と言われた。
みなさんは「みんなのトイレ」入らないですか？