主さんのコメント読む限り、会社の飲み会って言うよりは同期会って感じで、退職してようが同期だった仲間で飲むって感じなので、確かに主さんに来るなって言うのもおかしな話しですよね。
ただ、他にも女性はいるのに何故主さんだけが言われるのかが疑問なんだけど、たまたま同じ幼稚園で顔知ってるから言いやすいってだけなら無視で良いと思いますが、主さんだけ特別その同僚と仲良くしてるとかなら少し距離を置かれては？
飲み会に参加してもなるべく離れた席に座るとか、他の女性といる時にだけその人と話すとか。
あとその同僚も平気で主さんのことを奥様に話すとか配慮がないと思いますので、そこも同僚に注意して貰うとか。