義母から嫌味言われたんだけど、私どうすればいいの

義母は一人暮らしです。
何かあるたび（組み立ててとか、故障したから見てほしい等）に呼ばれるので、休日はみんなで旦那と私、子供達とよく遊びにいってました。
しかし、私と子供がいくとご飯の準備をしたり、色々気を使うらしく
「今度から旦那だけきてほしい」と言われたそうです。
なので旦那は一人でいくようになりました。
しかし、旦那は義母の用が済んだらお茶もせずすぐに帰ってきてしまいます。
それが、義母にとって面白くないのか
「主ちゃんが早く帰ってくるように言ってるんでしょ？もっと旦那のことゆっくりさせてあげて」と苦情がきました。
旦那が「主の用事もあるからもう帰るわ」と言っているようで・・・早く帰るための口実です。
しかし、私は何も言ってないしむしろ夜まで帰ってこなくていいよって感じです
旦那に「もっと実家でゆっくりしてきなよ。ランチしたりすればいいじゃん」と伝えても「一人で行っても何話していいか分からないし疲れるから嫌だよ」と言われます。
私、関係ないのに義母から嫌味言われるし、どうしたらいいの