近所の小学生について

ここに相談して良いかわかりませんが、悩んでます。
うちは一階です。二階に一年生と五年生の姉弟が住んでいて、よく友達が遊びに来ています。
一階に人がいる事がよくわからないのか、その子達が家の窓付近や壁を外から石やおもちゃで叩いたりします。
中にいると、TVの音が聞こえないくらいの音です。
ﾋﾟﾝﾎﾟﾝﾀﾞｯｼｭをされた事もあります。
悪気はないと思うのですが…
注意はしない方がいいですか？
うちには3歳の息子がいるので、あまり近所の子供達に注意するべきではないのかなとも思いますし、注意されたらきっと嫌ですよね？
どうしたら良いでしょうか？