宅配便が届いて居留守呼ばわり

隣に住んでいる義父母に、私たちの宅配便が預けられてあました。私は睡眠障害で、寝てしまうとどんな小さな音でも起きにくい時があります。
宅配便に気がつかず寝ていた事を義父に居留守を使うなと怒られました。
私は反論して、今私達が出ていくという流れにしたら、反対されてます。
どうしたら？だから出ていくって言ってるのに？