遊びに兄弟もついてくる

うちには中2の姉と小3の弟がいます。

小3の息子の友達A君には小2の弟と年長の妹がいます。
友達とお互いの家で遊ぶこともあるのですが、うちは息子1人を遊びに行かせてもらってるのですが、うちに来る時は息子の友達とその弟妹2人も一緒にきて計3人きます。

同じマンションに住んでいるのでA君のお母さんとも仲が良いし、A君の弟妹が小さい頃も知っているので可愛く思う気持ちもあるのですが、やっぱり毎回3人くるのはちょっと大変な気持ちもあります。

基本的に息子とA君が一緒に遊んでいて、弟妹は別に息子のおもちゃで遊んでる感じなので、息子と一緒に遊ぶというよりは、A君についてきているだけという感じです。

息子も遊びに行かせてもらってる手前、A君だけ来させて弟妹は来させないでとも言えずという感じです。

うちには姉がいますが、異性だし歳も離れているから、姉には姉の付き合い、弟には弟の付き合いという感じだったので、兄弟みんないっしょに遊びに行かせるという感じがわかりません。

こういった時みなさんはどうしていますか？