いつも利用される我が子

6歳小１の長男がタイトルの通り、いつもお友達のA君に利用されます。
例えばお友達6人と2チームに分かれてサッカーをする時に、A君が毎回８歳7歳６歳の子と、うちの6歳と4歳の子二人がチームになるように決めて、うちの子のチームが負けるようにするとか、テレビゲームでわざと負けてとか、そういう風なちょっとした意地悪を普段からたくさんされて、やめてほしいと主張したら、「じゃあ長男くんのこと嫌いになるから！」って言われて悪くないのにうちが謝ったりするって感じです。私が見てたら仲裁に入りますが、注意されたらその子はブチ切れるし、相手の親はすみませんと言いつつ全然叱らないから、わがままし放題で悪いことしてもきちんと謝ってももらえません。
幼馴染で家もすぐ近く同じクラス、この良くない関係性を変えていきたいのですがどうしていくべきでしょうか？なるべく接点を減らすように出かけたりするようにはします。