子供同士の遊びの断わり方

小学2年生の女子です

家のすぐ裏に住んでる同級生の女の子は、
なにかと問題がある子で（虚言癖、自己中、その他いろいろ）あまり関わらせたくない子です。
ついでに親も苦手です。

娘と同じクラスですが、特別仲が良いわけではなく、
どちらかというと迷惑をかけられる事が多いのですが、
まだ2年生なのもあってそこまで険悪な仲ではありません。
とはいえ、ずいぶん前に（仕方なく）一度うちで遊んだ事があるのですが、
娘がその子に振り回されてばかりで、帰った後は娘がぐったりしていました。

先日、一緒に学校から帰える時、遊ぶ約束をしてきたらしく
「その子のお家で遊んできてもいい？」と言われたのですが、
その時は用事があるから、といってお断りしました。
（実際はその子も習い事があったので遊ぶ事は不可能でした）

ただ夏休みが始まると、一緒に遊ぼう攻撃が始まりそうで怖いです。

私が在宅勤務をしているので、我が家で遊ぶのを断る理由はなんとでもなりますが、
その子のお家に誘われた場合は、特別断る理由が見当たりません。
その子も親も「いつでも遊びにきてください～」と頻繁に言うので、
行くことは迷惑ではないようです。
ただ、頻繁にお友達が遅い時間（21時や22時等）まで来ているようなお家で、
うちとは気が合いません。

一度くらい、、とも思いますが、一度遊んでしまったら、
絶対に頻繁にさそわれるようになるので、できるだけ行かせたくありません。

子供同士の関係に親が口出すことではないのは重々承知です。
ただ、その子だけはどうしてもどうしてもイヤで。。。
それ以外のお友達については何も言うつもりはありません。

こちらからは誘いませんが、もし誘われた場合に断る理由がほしいですが
どのように言ったらカドが立たずに断れるでしょうか。