車のディーラーのキッズスペースで他人の子の面倒みる？

うちの四歳の男の子がキッズスペースで遊んでました。
私が座っている席の後ろにスペースがあり、たまにちらちらとは見てました。

同じおもちゃ(線路がある電車)を一歳位の子ども(親は両親とも商談中)といじっていましたが、何か気にくわなかったのか泣いてしまいました。
うちの子が何かしたとかは、見ていた限りは何もしていません。

泣いた子どもの親も私と同じような席の位置にあり、泣いた時にすぐに気付いてかけよりました。

うちの子に対して、大きい子が小さい子を泣かしてもいいの？
一緒に遊ぶ事、できないの？と言われました。
私は思わず【うちの子何もしていませんが？小さい子ども一人で遊ばず方が悪いんじゃないんですか？うちの子どもに、お宅の子どもの面倒をみろ？と？】と言ってしまいました。

母親は無言で子ども抱っこして席に着きましたが、私は言い過ぎましたか？
公共のスペースで、大きい子どもは小さい子どもの面倒をみなきゃいけないのですか？