子供がこの子とは遊びたくないと言ったら

どうしますか？
うちは年長の男の子、相手も同じ男の子で保育園で春から同じ小学校に通います。家が比較的近くて遊ぶ公園が一緒なので時々約束して遊んでいました。約束をしていなくても会ったりするので、その時は一緒に過ごしていました。
遊びたくない理由は、遊ぶ約束をして公園に行ってもお母さんから離れずずっとくっついててお母さんと遊びたがる。息子が何々して遊ぼうよと誘ってもなかなか来ない。あちらのお母さんが促しても来ない。その間息子は私が相手したり、1人でボールや遊具で遊んでいます。ようやくその子と遊び出すのは集合してから1時間経ったくらいから。場所を変えても同じ場所でも相手の子は毎回そんな感じなので、遊んでてもつまらないと言う様になってきました。
それなら約束するのはやめようと思っているのですが、見守るべきでしょうか。子供の友達関係に干渉しすぎでしょうか。