誘いに「ゆっくり休みたいから」で断るのってダメ？

平日パートで働いています。（本日休暇）
よく同僚に、「イベントあるんだけど一緒にいかない？」とか「〇〇で催しやってるから（趣味の）来てね」とか土日によく誘われます。
「ごめんね。いけない」と断ると必ず「どうして？理由は？」と聞かれ
「予定あるの」と答えても「なんの予定？その予定は何時から何時まで？」といわれ上手くかわしても、「じゃあ来週はどう？」といわれ毎回何かしらに誘われる
なのではっきり断ろうと思い「私、休みは家でダラダラするのが好きで土日はゆっくり過ごしたいんだ」というと「そうなんだ～じゃあ予定ないってことだよね？来れる？」と何も通じていません
断る理由に、「ゆっくり休みたいから」はおかしいんでしょうか
同僚のことが嫌いとかでは全くないのですが、親しくしようとも思っていません
ただ休みの日に仕事の人に会うのって、仕事気分でどうしても抜けないので会いたくない
そしてインドアなので家でゆっくり家族、またはひとりで過ごしたいんです