4歳なら人の好き嫌い出てくるけど、それでも4年の子と遊びたがるなら嫌なことより楽しいことの方が多いんじゃない？
4才に好意というより優越感があって気持ちがいいんだと思うよ。

嫌ならはっきり断る。子どもが遊びたがるなら遊ばせてルール破ったら帰らせる。で良いんじゃない？