主さんの言う通り建てる前にご近所さんの性格分かって良かったよ。
とりあえずすぐに柵なり、入れないようにして売るための手続きをする。他で土地探した方がいい。
買った時より高く売れそうなら、そこより良い土地買えるかもよ。
無断で使ってただけならまだしも、そんなこと言ってくる人の近くなんて住まない方がいい。