自宅前にアルファード停めちゃだめ？もしぶつけられたら？

最近我が家アルファードを買いました。
荷物も人も乗るしルンルンだったんだけど
我が家駐車場が狭くて上手くいれられなくて
平日は我が家の自宅前に停めてある。
玄関前だと邪魔だから少しずらして。
そうしたら、お向かいさんが
邪魔だからと言ってきました。
私が停めてある場所がちょうどお向かいのガレージ前で出し入れしにくいから迷惑だと言われた。
だから、すみません。平日は主人が帰宅遅いから駐車できなくて、土日に駐車場に入れます。と言ったら、
もしその邪魔な車にぶつかって
傷ついたら弁償してくれるか？と言われました。。

いやいや、それはぶつけた方が悪いし
うちの車にぶつけたらあちらが弁済しなきゃいけなくない？

こういう場合
どちらが悪い？