娘さんは嫌な思いをしているんですよね？なら強く言うべきです。
遠回しに言わなくても本人に「そういうこというと嫌なんだって。一緒に行きたくないって。」と伝えたらいいと思います。
その子がしゅんとしたりしてもいいんです。その通りのことをいったまでです。
それで相手の親が出てきたは話すチャンス。

うちも娘が近所の男の子に嫌がらせをされ続け、その子のおばあちゃんとうちの母が昔からの知り合いのためきつく言うこともできずでした。
そして、その子は大人の私たちの前ではやらないので現場を見ることができませんでした。なので、なおさら言えませんでした。
今、娘はトラウマから暴れるような男の子を見るとフラッシュバックしてしまい恐怖心が強くなってしまいます。
これは、ちゃんと守ってあげられなかった私の責任です。
自分を責めると同時に、その男の子に対しいけない感情が沸き上がってきます。
そうならないように、娘さんを守ってあげてください。