近所の子とうちの子を遊ばせるのが億劫です。

長文すみません、愚痴を吐かせてください･･･。
当方4歳になったばかりの双子男女と、間もなく2歳の男児の母ですが、すぐ近所の小学4年生男児に困っているのでこちらでトピを失礼します。
小4君は週3回ほど遊びに誘ってくるのですが、その度に娘に対してだけわざと意地悪をして泣かせてしまいます。(おもちゃを取り上げる、無理やり抱っこする、しつこく追いかけ回す等)

いつも、お外で遊ぶんだよとうちの庭で遊ばせていますが
勝手に玄関を開けたり、家の中で遊びたがったりするのにも困っています
｢ここはおばちゃん(私)の家じゃなくておじいちゃんのお家なの(義実家同居です)、だから勝手にお家の中には入れられないんだよ、ごめんね｣と断っても毎回のように家に入りたがります。

小4君の親御さんからはよくおもちゃや洋服のお下がりを頂いたり、うちの子が挨拶をすると駄菓子をくれたりと良くして下さっています。
うちからも義祖父母から届いた野菜などを日頃のお礼にとおすそ分けしています
ご夫婦ともにうちの子を可愛がってくれるので、息子さんの行動に困っているとも中々伝えづらく
最近は遊びに来そうな時間帯はインターホンを切り居留守を使うことも･･･。
息子たちには意地悪もせず、元気に遊んでくれているのですが毎回娘がやめてー！と泣く姿を見るのは中々に堪えます、今までやんわりと注意していたのですが厳しく叱る方がいいのか、親御さんに伝える方がいいのか迷っています。