23歳ですと、児童館を利用しにきたお子さんの保護者のほうに近い年齢だと思われます。
スタッフでもなく、保護者でもなく、そのくらいの年齢の人が一利用者としてそこにいたら、何か悪いことをしていなくても、やはり違和感はあると思います。
児童館を利用されるおこさんたちと楽しくやれているのであれば、せっかくのその特技を生かせるようなお仕事なり、ボランティア活動なりを探されてはいかがでしょうか。