断り方が分からない…

今年2月に建売の家を買いました。
まわりには建売4件、注文住宅1件で建売の家は同時期に入居しました。
注文住宅の家は6月末に完成して7月頭に入居しました。
ちなみに注文住宅の家は我が家の隣です。
建売の家はどの家も庭＋駐車場が2台分あります。
注文住宅の家は敷地ギリギリに建てて小さな庭はありますが、駐車場はなし。
注文住宅の人から引っ越しの時、1時間ほど駐車場に車を1台停めさせて欲しいと言われ了承しました。
それは別に構わないのですが、その後も親が来るから駐車場貸して欲しいなど、1ヶ月程の間に4回程言われました。
車がないと不便な地域なので、車は所持しているみたいですが、どこに停めてるかは不明。
うちの周りは道が狭く路駐も無理です。
我が家は2台分の駐車場がありますが、車は1台しか所持してないので1台分は余ってます。
しかし、頻繁に言われるのもなんか嫌です。
自分ちの敷地に駐車場作れば良かったんじゃ？って思ってしまいます。
お隣さんだし、これからも付き合っていかないとならないので角は立てたくないし…

お花とかを置こうかと思いましたが、我が家の駐車場は縦列しないと停められず、奥にカーポートを建てたのでダメでした。
縦列の為、少ししたら出るんですよねって伝えると、じゃあその時は声掛けて下さい！もしくは今入れ替えちゃいます？とか言われます…
だいぶ図々しい。
引っ越しの時に貸さなければ良かったと後悔です…

どう断るのがいいかアドバイスお願いします。