相手が迷惑そう、遊ばせたくないタイプ、ここまで書くなら、もう人がいる公園には行かないのがいいと思います。ずっと誰かいるわけじゃなく空いてる時間もあると思うので。
未就学児が何歳か知らないけど、プレとか児童館とか似たような年齢の集まりにしぼれば、少しは楽になるんじゃないでしょうか。