5年生で息子さんもとくに嫌がってないなら子供同士で遊ぶのは息子さんに任せたら？
でも家族で出かけるときは断るように言うか教えないように息子さんに言ったら？

親同士の付き合いは主が上手く逃げるしかない。
息子さんと遊ばせようとしたら基本約束は子供に任せてるけど家族で出掛けるときは旦那が決めてるので〜って言えば？
それでも通用しないなら無視で良いじゃん。
子供同士のことは息子さんに任せれば？