息子の友達が苦手になってきたかも

小1息子の友達のことを最初は人懐っこい子だなと思っていたけど、最近は図々しいというか、乱暴というか‥不快に思うことが増えてきてしまいました。
例えば、家の中で遊ぶ時は2階、リビングには入らないでと伝えているのに勝手に入ってきて、うちの子がダメだってー！と言っても全く聞いていない。
下に1歳の子がいるんですが、勝手に抱っこしたり、お昼寝しそうなところを起こしたり（悪気はなかった様子）。
別の日には少し目を離した隙に勝手にベビーベッドの中に入っていました。潔癖ではないけど、足の裏真っ黒の靴下で布団やらシーツを踏まれイラッときて。。
あとは、乱暴なのも気になります。息子の言い方が気に入らなかったとかで、「なんて言った？おら！」と言って押さえつけたりすることが多い。うちの子がやめて！痛い！と言っても離さないのでさすがに止めましたが、「こいつはやり返せない。弱虫なやつ」と言われ、これまた私がイラッときました。
正直もう遊びに来てほしくはないけど、放課後に遊べる友達はその子しかいないから、もう少し見守った方がいいのかもと思ったりもします。
ちなみに、息子は乱暴されるとき以外は楽しそうにはしています。
低学年の友達関係ってこんな感じでしょうか？少なくとも上の子（男）の友達にはいなかったタイプなので今までが良すぎたのか？よく分からなくなっています。