義妹から直接言われた訳ではないから、とりあえず弟だけに謝っておけばいいと思う。
ただ、弟夫婦が同居してる訳だし子供達を泊まらせるのは今後はやめた方がいいかも。
もしあなたが旦那さんの実家に同居してて旦那さんに姉か妹がいたとして、その子供達がしょっちゅう泊まりに来てたら嫌じゃない？