そこまでして合わせる必要ってあるの？

同じ市内に住む義兄夫婦が子供達（小3と小1）がうちの子達（小４と小1）と一緒に遊びたがっているからと公園に遊びに行かないかと誘われて、うちの子達も遊びたいと言うから公園に現地集合という事でOK したのですが・・・。

公園では何かとうちの上の子に下の子達と一緒に行動するように言ってきては少しでもうちの子が離れたりすると「何で一人で行っちゃうの？」って言ってきたり、うちの子が低学年では出来ない遊具で遊びたいと言うと「一人だけそういうので遊ぶと下の子達が一緒に遊べないよ。一緒に遊べない下の子達がどう思うか考えた？」って言ってきたりと何が何でも下の子達に合わせるように言ってきてうちの子も楽しくなくなってきて「帰りたい」ってなり下の子は旦那に任せて私は上の子だけ連れて帰ってきました。

そしたら、義兄嫁から「○○（主）さん所は協調性ないんだね。一番年上なのに」とLINEきて「はぁ！」ってなり電話でぶち切れたら協調性や集団行動云々って言ってうちの子が悪いって言ってきかない。そもそも、何が何でも下の子達に合わせる必要ってあるの？
私の考えが間違ってるの？

ちなみに、下の子達も普通に個々で好きな遊具で遊んでたし私もその場で「全て下の子達に合わせる必要ないよ」って義兄夫婦に言って上の子にも「好きな遊具で遊んで良いよ」と言ったけど言われた事を気にして遊ぶ気分じゃなくなってしまった感じです。