正月早々退去？

子供が新年早々テレビをテレビ台から落として壊してしまいました
その時の音がうるさかったみたいで、さっき外に出た時に隣のお兄さんに｢うるさいんだけど…静かにしてもらえません？こっちはまだ寝てるんだよね｣と言われてしまいました
大きな音をたてたのは１度だけだし、隣人は大晦日、元旦と夜中ﾄﾞﾝﾁｬﾝ騒をしていたので、言い返してやろうかと思ったんですが、角がたつといけないので｢すみません。これから気をつけます｣と言ったのに後ろから旦那が｢お宅だって毎晩毎晩うるさいでしょ。だからお互い様じゃないの？それに今は起きてるのが普通の時間でしょ？｣と言うと隣人と口論になってしまい、散々言い合って最後に｢管理会社に電話して、お前ら退去してもらうようにしてやるからな!｣といって部屋に戻って行ってしまったんですが、私達が強制退去させられることはあるんでしょうか？