隣の家から塀を作りたいので半分お金を払えと言われました。

夫の親が所有している土地に家を建てて住んでいます。
建てたのは20年前です。
うちの庭が隣の家の畑に面しています。
庭といっても敷地の端のほうで、隣との間には家を建てる前から木が生えていて垣根のようになっています。
「木に虫がついているから切れ」と文句を言われて木を切り倒したことがあります。
うちの敷地から生えている木は伸びてきたら隣の敷地にかからないように切っています。
逆に隣の敷地から生えている木に文句を言ったことはありません。
隣の家は畑から少し離れたところに建っていて、義両親の家もうちの近所にあります。

義母がそのお隣の方から「うちの庭が汚いから塀を作りたいのでその費用を半分払え」と言われたそうです。
（うちの土地が義両親の所有であることを知っているので義母に言ったようです。）
別にゴミ屋敷とかでもないですし、そんなにこまめにではないけれど草むしりなどもしているつもりです。義父が少し畑を作っていますがそれ以外には何も置いていません。
今までどこからもそんな苦情を受けたこともありません。
ですが、敷地の端のほうなので手入れが行き届かずにいたのかもしれません。感じ方は人それぞれなので、もしうちを不快に思うなら別に塀でもなんでも建てて見えないようにしてくれるのは構わないと思っています。
塀もお隣の敷地内に建てるつもりだそうです。
ただ、その費用を半分こちらが払わなければならないのでしょうか？

何かにつけて文句を言って怒鳴り込んでくる人なので義母は色々もめるのが嫌でお金を払う気でいます。
夫と私はそれはおかしいと義母に言ったのですが、「あんたたちがキレイにしておかないから悪い。私が払うんだから文句ないでしょ？」と言われました。
そうなんでしょうか？
うちの庭が汚いということですが、
悪臭や騒音を出しているわけでもないし、
うちの敷地に何を置こうがどう使おうが勝手ではないでしょうか？
隣の敷地内に隣の意思で建てるものにどうしてお金を払わなければいけないのでしょうか？
のちのち塀の修理などが必要になったときや塀が倒れたりして他に被害が出たりした場合、その費用や責任を取らされたりしないかも心配です。
私の考えがおかしいのでしょうか？
お金を払えば済むことなのでしょうか？
皆様のご意見をお聞かせください。