義両親が週末来る

私は結婚して家を建てた段階で義両親と同居することになりました。もちろん嫌ではありましたが、私はフルタイムで仕事をしており、子供が生まれたら義母が子育ての援助をしてくれると言う話で受けたものでした。
でも私たちにはなかなか授からず、同じ頃に結婚し、比較的近くに住む義姉の方に続けて子供が生まれました。
義姉も仕事をしていることもあり、当然のように義母の手助を必要とするようになりました。
やがて、やっと我が家も子供が生まれ、私が１年間の育休を取り、仕事復帰に備えていたところ、義母から「３人見るのは無理」と、あっさり言われました。
私はあんまりのことで、思わず軽い家出もしてしまいましたが、うすうす感じてはいました。
それなら夫婦２人で子育てを頑張ろうと切り替え、保育園を利用して何とかやり繰りをする毎日を送りました。義両親は我が家に住みながらも通いで義姉宅にお世話をしに行きます。
義両親に頼ることがないのなら、同居の意味もなく、今後解消する方向で行って良いことだと思っていました。
両家の子供たちが小学生になった頃、義姉夫婦が離婚しました。コロナ禍に２つの家を行ったり来たりは危険であるとこちらから提案し、義両親はほぼ義姉宅で暮らすようになりましたが、コロナ禍が過ぎると週末は我が家に来るようになりました。義母が孫たちに苛立ち声をあげることが多くなり、義姉の休みの日は「帰っていいよ」と言ったそうなのです。
義姉宅で得たストレスの解消に何故我が家が使われるのでしょうか。
夫も義母のストレスを気遣い、私に納得させようとします。
義母か「我が家」と言う度にモヤモヤが抑えきれません。
家は土地も建物も、義両親からは特に相続したということでもなく、援助として100万円はいただきました。ただ、頭金の多くは私の独身時代の貯金と、私の実家からの援助でした。私は夫より収入が多く、世帯主は夫ですが、ローンの借り入れも私の名義になっています。
１週間一生懸命働いてきて、休みに義両親が毎週いるというのはどうしても納得いきません。
いっそもう、この家を維持させるために私が稼ぐのはやめようかと思うくらいです。