勝手に姉の友達の家に遊びに行く娘

小5の娘が中1の姉の仲良しな男の子の友達の家に勝手に遊びに行きます。
行くんだったらせめてお姉ちゃんと一緒に行くか、お姉ちゃんがいる時に家によびなさいって注意してるのに無視して約束もしてないのに出かけます。中1の娘もかなり妹に引いてます。

優しくしてくれる男の子だから好意を持つことは理解できるし好きになるなとは言わないけど、その男の子のクラスメイトが小学生と遊んでるところを見られたりしたら良からぬ噂が立つかもしれないから私も中学生の娘もやめなさいと注意してます。

男の子の家は親がいたら家や外で遊ぶことがOKとしっかりした家で、いない時は娘と一緒に私の家に戻ってきて外や家の中で遊んでます。私はずっと家にいるので…でも平日は男の子は帰宅部で娘は部活動をしているから、中学生の娘がいない状況で小学生の娘と遊んでくれて申し訳ないです。

言い方が悪いですけど男の子は断れない系の男の子なのでおそらく、無理して小学生の娘と遊んでくれてると思います。

どうすることが一番良いのでしょうか?