敏感な隣人

新興住宅地に住んでいます。親子で同年代家庭が多いのですが、隣人が敏感な人で悩んでいます。
夜泣きをしてしまう頃、うちはかなり生活音には気をつけていました。窓を閉めていても無音で生活していると隣人や外の声も少し聞こえてくることがあり、うちがうるさいのは自覚しています。私がいることを知らずに隣人が「うるさい家だな」と話しているのを聞いたことがあり、それからまた対策はしました。
今まで以上に子供にも騒がない大きな声を出さないよう注意しています。最近ふと、隣人を気にしすぎての生活が苦しくなり家が息苦しいです。なんのために家を買って生活しているのかわからなくなりました。ここに住み続けるつもりでトラブルなく過ごしたくて子供にも声は小さくと我慢させてきました。隣人の家は週末集まることが多いようで大騒ぎしている音が寝る時無音にするとけたたましい音が聞こえてきます。
普段はこちらが言われ放題、あちらは週末だけですが大騒ぎ。うちだけ我慢しなければならないのか。