男っぽい娘。トイレに行かせたら私が怒られた

小５の娘がかなり男勝りな性格で、細身で顔だちも男なので高確率で男の子に間違えられます。娘について知らない方に怒られたので相談します。

先日ショッピングモールで私と二人でいるときに娘が(女性)トイレに行き、私は入口のところのベンチで待っていました。
娘はしばらくして戻ってきたのですが、そのあとすぐに出てきた女性の方から
「この子男じゃないの？なんで女子トイレに入れるの」などと言われ、注意を受けるということがありました。
娘は女の子っぽい服を全拒否するので、これでは解決策がわかりません。
もう娘は女子トイレに入れない方がよいのでしょうか？それとも娘を女の子らしくさせるかですよね？