良いことをしたのに、勝手なことをするなと言われた

スタバでお茶をしようとしたら、テーブルにポーチがありました。誰かの忘れ物だと思い、店員さんに届けようとしたら
「それ私のなんですけど！勝手に持ち出さないでいただけませんか？」
って言われた。私は忘れ物だと思い届けようとしたのに失礼ですよね？
ポーチで場所取りせずに、先着順なのに。