来ちゃだめだよと言っても来る…娘の友達の下の子

ものすごく困っているので相談させて下さい。
文章が長いのでわかりにくかったらすみません。

小3の娘の友達の子（Aちゃんとします）の弟（a君（小1）とします）の事です。
娘とAちゃんは同じ保育園で、お互いの家を行ったり来たりしており、親同士も娘同士も仲良くしています。a君は生まれた頃から知っていて、小さい頃から家に来ています。
Aちゃんと娘は週に2回ほど放課後一緒に遊んでいるのですが、2学期からa君も付いてくるようになり、対応に苦慮しています。
娘達がいる時は外で遊んでいるので何もないのですが、遊んでない時もa君が勝手に1人で家に来てしまうのです。（Aちゃんは習い事をしていて、その間はa君1人で留守番しているそうです）
インターフォン越しにお母さんが一緒じゃないと入れないよ。帰りな。と伝えているのですが「嫌だ！入れて！テレビ見たい！ゲームやりたい！」と騒いだり、ドアをガチャガチャドンドンしたり、庭に入ってきて「開けて！入れて！」と窓ガラスを叩いたりするのです。
こちらがドアを開けようものなら無理矢理入って来ようとするので、チェーンをかけたまま対応するのですが、最終的に大声を出したり泣いたりします。お母さんに連絡するも勤務先が遠い為すぐ帰れない為、とりあえず家に帰らせて！ごめんね！と言われ帰らせるというやりとりを何回もしています。娘の習い事の日に娘を送って一旦帰宅したらa君が家の前で待ってた事もありました。この時は先生には申し訳ないのですが、学校に連絡をして迎えに来てもらいました。

都度向こうから謝罪を受けたり直接謝りにも来るのですが、さすがに頻繁すぎて私が疲れてしまって。近所迷惑だし、何で私が先生に謝らなきゃいけないんだろうとなります。
何度困ってると伝えてもa君は来るし、Aちゃんも娘も困ってます。
先週は来ていませんが、今日来るんじゃないか、明日は来るんじゃないかと嫌になってきます。
もうa君の顔も見たくないレベルです。
どうすれば良いのか助けてください…。