毎回ちょっとしたことでは迷惑だろうけど、今回くらいのことなら別に気にしなくていいんじゃない？鍵あってよかったねくらいにしか思わないよ、会った時にあの時はすみませんでしたって言えばいい
で、今後どうするかについては自分で紙に気持ちを書き出してみるとか深呼吸三回してみるとか色々心落ち着く方法を探してみたら？