姪が うちに下校してくる

義妹の子です。
義妹旦那は私の幼なじみです。
義妹が正社員になったのですが、度々うちに下校してくるようになりました。
最初のうちは仕方がないので、うちの子と一緒に習い事に連れて行ったり買い物に連れて行ったりしました。
あるとき、義妹旦那のお母さんに姪を連れている時に会い、義妹旦那のお母さんに事情を話したとこ、義妹旦那のお母さんが すぐに義妹旦那に連絡を取ってくれて、義妹旦那のお母さんが連れて行ってくれました。
その時は義妹から 怒りの電話がきたので、事情を話して、矛先が義妹旦那になったようですが。
それからも時々姪がこちらに下校することがあるので、その度に義妹旦那のお母さんに連絡をして迎えにきてもらっています。
義親や義妹からはやめてくれと言われていますが、続けて良いよね？
こっちは迷惑しているのだし。