近所の子どもがうちの庭で勝手に遊びます。

双子の男の子の母です。
まだ2歳前と幼く近くに公園もないため
自宅の庭に家庭菜園、砂場、滑り台、ブランコを設置しました。
手軽に遊べるため満足していたのですが
近所の子どもが勝手に遊んでいました。
平日は仕事をしているため気づかなかったのですが‥
たまに、あれ？こんな所に遊び物置いたっけ？ということはありましたが‥
子どもの体調不良で早退して帰ってくると庭にお母さんと幼いお子様が２人いました。
気まずそうに「すいません。遊びたがって～」としばらくして帰って行ったのですが‥
普通他人の家に砂場やブランコがあっても遊ばせませんよね？
私なら引きずってでも連れて帰るか公園に連れて行きます。
なんのことわりもなく仕事でいない間に遊ばれてると思うと嫌な気持ちです。
どうしたら良いでしょうか？