近所の人に怒られました…

仕事から帰ると、ご近所さんが訪問してきました。
「今まで我慢してきたけど、道路でボール遊びはやめてもらえないか！」と言われました。
夏休みで妹の子供達も交代で面倒を見ています。祖父母がいるので、昼食を食べさせてもらったり等々。祖父母もパートに出たり、買い物をしているので、大人がいない間に道路で遊んでいるようです。

また、近くに避難用（防災対策の何もない空き地)の公園があるけど、そこでバッティングをやっているのも注意されました。そこでは主人が熱心に教えていたので、公園だったらいいだろう！って、主人が怒っていました。
ご近所さんからは…
・これだけ家が密集していたら、いくら公園でもボールが家や車にあたる。
・子供達だけの時、外壁にボールが当たっても逃げている。
・ボールを取りに敷地内に勝手に入ってくる。
・フェンスを乗り越えて、ボールを取りに来る。

被害にあっている人達は、子供達がボール遊びをしていると窓に立って、被害が出ないか？見ているそうです。その間、家事が全く手につかない。とも言われました。
苦情を言ってきた人は、いつもにこやかでたくさん友達がいる年配の方なのて余計に悩んでしまいました。

何度も子供達には伝えてますが、抜き打ちで家に帰ると、道路でキャッチボールをしていました。本人は練習したい。レギュラーだから、落とさずキャッチするから大丈夫！と話しています。
どうしたらいいのでしょうか？