席を借りても良いか聞いて使ったのに、叱責された

幼稚園の子供と私が出かけたときの話です。
大人の都合（親戚の発表会）ですが食事の時間が中途半端で、発表会の前に近くの公園で軽食を取らせようと思っていました。
そうしたら予想外にその公園でイベントが行われており、テーブルも椅子もいっぱいでした。
ひとつ、４人テーブルにママ一人、ベビーカーの赤ちゃん一人、一つの椅子は荷物が置いてあり、二つ分は空いている席を見つけました
そこにいたママさんに、椅子を一つ使っていいか聞いてOKと言われたので、子供だけ座らせて、私はそこの横に立って軽食を食べさせていました

そうしたら、少ししてそのママさんと赤ちゃんのお父さんが帰ってきて
「ここ！自分たちが使ってるんですけど！！」と強い口調で言われました
私はお母さんに許可を取ったし、お父さんがいるのを知らなかったので借りてしまいました。もし３人で来ているのを知っていたら貸してくださいと言わなかったかもしれません。
でもそのお母さんは何も言ってくれず・・
食べ始めた軽食は、結局近くで立ち食いさせることになりました

自分は使っても良いか聞いてから座らせたのに。
お母さんも、自分とのやり取りは分かってるはずなのに。
本当は、立ち食いなんてことさせたくなかったのに。
すごく悔しい思いでいっぱいです。
子供にも可哀そうな思いをさせてしまったと思います（しばらくしたら忘れるかもしれませんが）


私はこの時、どうしたらよかったのでしょうか