主です。
皆さん色々な意見ありがとうございます。
あれから週１回だけ友達呼んでいい事にしました。
最初は誰とも遊ばなかったのですが、家に呼んでもらえるようになったり(駄目って言ってたのはなんだったんだ？)公園で遊ぶようになり、とても気持ちが軽くなりました。

私がきちんと強くルールを決めなかったのが悪かったと思います。