義妹と旦那のことで悩んでる。

対処法がないから悩んでるんだけど、
義妹が旦那がいる時に家に来たがる。
義妹の旦那は単身赴任で家にいないから寂しいんだろうとは思うから家にくるのはいい。
でも旦那が休みの時は子供連れて家族で出かけたい。

うちも3人子供いて1番下は1歳。義妹は0歳児1人だけどまだミルクも4時間おきとかで抱き癖ついてて抱っこしないと泣いてる。そうすると気になってうちの子が寝れない。

旦那にも平日の昼間なら私と下の子1人だし、昼ごはん一緒にたべるとかなら時間あるって伝えてあるし、義妹本人にも遊びに来るなら平日の午前中にきてほしいとは何度も伝えてある。
旦那には私が義妹のこと嫌いなんだろって言われるし、義妹は言ったこと守ってくれるわけでもないし。
別に嫌いなわけじゃなくて根本的に生活リズムや考え方が違うから合わないとは思ってる。
喧嘩するのもあほらしいから私が我慢すべき？