いつのまにこんなにたくさんのコメントありがとうございます。
同居はやめた方がいいというコメントしかないので、やはりやめるべきですよね。

旦那は長男夫婦は同居が当たり前という考えの持ち主で、
以前も、わたしが自分には実親の介護があるから、と話をしたら
それはわたしの弟夫婦(まだ弟は結婚していませんが)の役目だ、と言いました。

別居してからは、ほとんど同居云々言わなくなったんですが…
周りが次々に別居宅を建て始めたせいもあると思います。

別居してからも、義父が飲み会とかで家にいないとなると
「義母が一人で可哀想だから、月一で夕飯一緒に食べてあげたい」
と言ってました。

やっぱり義両親と一緒だと、少しの時間でも気を遣って疲れます。
断って行こうと思います。