室外機の向きでお隣ともめた、困ったってことありますか？

サンルームをつくろうかとおもっているのですが、室外機は今家と平行に向けています。ですがサンルームをめいっぱいのサイズで設置すると、横向きにしなくてはいけなくて、横向きにするとお隣のお庭があるためどうしたらいいか悩んでます。
室外機を庭に向けられて困ることってありますか？
お隣に直接声はかける予定ですが、良いよって言ったとしてもあとから困ってしまうこともありますよね？

もしそのような迷惑がかかるならサンルームのサイズを小さくしようかと思ってます。
ただ本音は大きい方がいいので可能なら何か対策はないかな？と調べてます。

ルーバーや風よけの壁のようなものを設置するなどがあるようですが、どうなんでしょう？
それかお隣ではなく自宅向けることができれば迷惑がかることもなくなりますか？