同じことあった。あまり関わりない隣家だったんだけど、朝からいきなり工事始まった。

ゴミ出しに出たら「足場をお宅の外壁にも固定して作らせて貰っていいですかー」ってついでみたいに言われた。外壁に傷つくのも怖いし子供が体調悪いので振動がくると気になるのですみません、と断ったら「傷なんかつかないですよ！」って呆れた感じの一言。
更に腹立ったから断ったけど、これって在宅してなかったら勝手にやられてた？って不安になったよ。
まともな業者なら挨拶は事前に行くよね。そんな非常識な業者だと何かあった時怖いし、断っていいと思う。