スーパーの駐車場で、自転車とぶつかりそうになった

旦那の運転でスーパーに行き、駐車場に停めようと車をバックしていたところ、年配の男性が自転車でその後ろを通り過ぎました。
男性は通った後に自転車をとめて、しばらく無言でこちらを睨んでいましたが、
旦那は「普通はこんなところ通らねーし、バックしてるところを入ってくるのがわりいんだから、オレは悪くねーから」と目を合わせませんでした。
確かにいきなりスっと入ってきたんだろうし、バックモニターの死角になっていたと思います。
けれど、通ろうとするのも悪いけど、こちらの確認不足でもないでしょうか？