近所の家の庭に柿の木があって、ほどよく実ってきたから、娘ともぎに行ってたんだけど

今日、家の人が出てきて苦情を言われた

家の人「あの、勝手に取っていかないでください」
私　　「道路にはみ出している分だけですよ」
家の人「一声かけていただければ、おわけしますので」
私　　「じゃあ、道路にはみ出している分はください」
家の人「全部ですか？」
私　　「今全部もらっても困るので、少しずつ自分で取りに来ます」
家の人「それは迷惑なので、やめていただけますか？」
私　　「だったら、道路に柿をはみ出させるのもやめてください」

どっちが悪いと思う？