引っ越してまたすぐ引っ越し

アパートの生活音で目が覚め2年我慢してますが、もう限界きそうで戸建てか鉄筋マンションに引っ越ししたいのですが、
次もまたうるさい人や深夜早朝に活動する人がいたらと思うと中々引っ越す勇気がありません。
理由は挨拶きたばっかりなのにもう引っ越し？とか思われたり、家主さんや不動産仲介会社にも申し訳なくなりそうで…
あとは引っ越し費用や短期解約違約金もかかるし、電気ガス水道、住民票手続きなどまたすぐに変えなきゃいけなくなる。
引っ越してすぐ引っ越した方いらっしゃいますか？荷物も布団だけ運んで数日お試しで寝泊まりして大丈夫なら本格的に引っ越そうかまで思ってしまいます。