これは違いますか？

この言葉って、相手の返答がないと成立しない会話だよね。だから腹立つんだよ。
返答次第で嫌な気持ちになる可能性ある場合はこちらから頭下げときゃいいんだよ(^^)
今回なら「ごめんなさい、後ろにありました！！手間取らせてしまって申し訳なかったわね^_^」って一声かけて帰ればよかったんじゃないかな。