地目によって固定資産税が違ってくるよ。
それに近隣の地価によっても、例え雑地でも山林でも、それなりに。
その額も、地域によって年間どのくらいになるか、、、。
しかも税金の請求くるの5月よ。
農地として登録してるなら、建造物は、例え掘立小屋でも建ててはいけないし、地域の農業委員会とも多少なりとも関わりを持つかもね。
他人への売却も、農業委員会が絡むなら面倒かも。

主さんの懸念通り、雑草が生えて虫が発生したら近隣の農家の迷惑になるし苦情が来るよ。
雑草だらけだとゴミをポイって捨てられる確率が格段に上がる。
草刈りを業者に頼むと、1日1万くらいかかるけど、自分で行けないならそういう業者に頼むしか無い。
（近隣住民に金銭を払ってお願いしようにも、そういう時期は彼らも自分の土地で手一杯）
夏場は月に2度くらいは草刈りが必要。
除草剤は近隣農家の農産物に影響があると使用できないよ。
畑として地目を登録してるなら何が蒔いた方がいいだろうし。
（遊ばせてる土地に麦を蒔くのが多いらしいけど）

近隣の農家さんに売却か安価で貸すかして、自分たちの負担を減らした方がいいよ。
貸すなら、果樹とかはやめてもらった方がいい。
ただ土地があるだけ、なんて、更地を所有した事がない人間の戯言よ。