土日に誘ってくる友達、正直迷惑です

うちは旦那が単身赴任のため週末だけ帰ってきます。子供たちも週末パパと遊べるのを楽しみにしているし、私も家族でゆっくり過ごしたいと思っています。でも土日は旦那が仕事のママ友がしょっちゅう土日に遊ぼうと誘ってきます。私がその日は家族で出掛けるから、と断ってもじゃあ次の土日は？とか出掛ける予定のない土日はいつ？とか聞いてきます。平日子供たちが幼稚園終わった後に時々遊んでいますが、それはは全然構いません。私は正直土日はどこに出掛ける予定がなくても家族でのんびり過ごしたいのです。みんなはそんな風にあまり思わないのかな？毎度何て断るか考えるのも苦痛です。ちなみにそのママはうちの旦那に会った事もあり、旦那が土日は家族で過ごすぞ！と亭主関白な旦那では決してない事は知ってます。