息子の友達が朝5時にドアバンするので、赤ちゃんが起きてしまう

夫、夫の連れ子(大学生)、私、私の連れ子(小学生)、生後6ヶ月の赤ちゃんがいます。
夫の連れ子と友達が、朝サウナにはまってます。
夫の連れ子の友達が、朝5時からピンポン連打して、朝サウナ行こう！って夫の連れ子を呼びに来るので、うるさい。止めて欲しいと言いました。
友達は、夫の連れ子と15年以上の付き合いがあり、何を思ったのか夫が、夫の連れ子の友達に合鍵を渡してしまいました。

早朝、赤ちゃんが泣いたのでキッチンに降りていったら夫の連れ子の友達が、コーヒーを飲みながら夫の連れ子を待っててビックリ。合鍵貰ってると言ったので、カギを返してと言ったら、夫の連れ子の友達はドアバンしてして、赤ちゃん号泣。

カギは返してもらったんですが、逆恨みで今度は夫の連れ子がドアバンして、私の連れ子と赤ちゃんを威嚇してします。
威嚇されるくらいなら、夫の連れ子の友達に合鍵をまた渡した方がいいんでしょうか？