断ったらいいじゃんって言うけど、近所の人を巻き込むんでしょ？
義姉も近所の人に無茶言ったみたいだし。

義実家を追い出しても、近所迷惑になって、近所の人から苦情来たり、嫌われたり、主が近所付き合いが気まづくなるからね。

もう、社宅に戻る選択肢を考えたほうがいいかと。