6歳男児を女性トイレに連れて入るのはあり？なし？

今月で6歳になりましたが、小学生ではなく年長さんです。うちの子は背が高いから大きく見られることがあるのですが、ふと今日女子トイレで、「えっ」と言われてしまい（心の声がでちゃったような感じで、悪意は感じませんでしたが）、こちらもえっとなりました。そうか、もう駄目な時期なのかな？と思って質問しました。