ツバメの巣作りを巣立ちを見守りたい…鳥の嫌い隣人から「取り壊し求める苦情」、撤去義務あると思う？

自宅にツバメが巣を作りをはじめました
もうじき完成しそうですが
隣人は鳥に強いストレスを感じている
ようです
苦情を言いにきました
わたしは巣立ちまで見守りたい気持ちです
巣はわたしの敷地なので文句を言われる
筋合いはないと思ってます
隣人の言うように撤去が正しい選択
だと思いますか？
皆様の見解をお聞かせ下さい