旦那が義姉の味方しかしない

旦那とその姉(以下義姉)は義両親の再婚による連れ子同士にあたります。それが理由かわかりませんが旦那も義父もかなり美人な義姉を溺愛しています。結婚の挨拶に伺った際も義父に義姉と私を比べられてものすごく腹が立ったのですが、旦那を好きな気持ちと平謝りする義母(これまた美人)にほだされて結婚に踏み切りました。

で、今。義姉はモラハラ旦那と離婚して7歳の姪を連れ帰って義実家住まいなのですが、それからというものの旦那が毎週末義実家に入り浸って我が家を見向きもしません。うちにも5歳の娘がいるのにです。
流石にこちらにも予定があるし娘にも向き合ってほしいと言うと、平日は毎日居てやってるんだから向き合ってる、姉ちゃんはクソ旦那のせいで心が弱ってるんだからフォローが必要だ、男手があった方がいいことも多いんだとガン無視。
義実家に掛け合いましたが義両親は離婚して社会的弱者な義姉を助けてやろうと思わないのかとか、思いやりがないとか散々な言われようです(主に義父)。直接義姉にやんわりたまには私たちも親子水入らずで過ごしたいと言ったらごめんなさいと泣かれてしまいますます私が悪者に。

だんだん私が常識ないのかなと思い始めてきました。義姉がメンタル弱ってるシンママだからって私と娘は犠牲にならなきゃいけないの？