どうすれば良かったのか

3歳と1歳もちで、自宅で見てます。
天気の良い日は近所の公園をローテーションで遊んでます。

今日の午前中、いつも空いてる公園に行ったら、先客で初めて見たママとお子さんが来てました。

その内相手のお子さんが半泣きでママを引っ張ってたぶん帰りたがってて、人見知りなのかな？と思って子供達を遊ばせていると、「あー邪魔されちゃったね。怖いねー帰ろうか。」と聞こえてびっくりしました。

うちの子供たちは「こんにちはー」と挨拶して滑り台や砂場で遊んでただけだし、わたしも挨拶とお子さんの年齢聞いただけで、あとはずっと子供たちの側に居て一緒に遊んでました。

公園には相手親子と私親子だけでした。

これってこっちが悪いの？
どうすれば良かったのかな？