こういう男性になんて返したらいいかな

私の向かいの席の女性の席に行って「僕、職場で仲がいい女性は〇〇さん（その席の女性）しかいませんから！」「こんなにお喋りに付き合ってくれるのも〇〇さんしかいません。僕女性全員に嫌われてるんで。」って言った。
彼の仕事の愚痴とか家族の話を聞いたり結構喋った事がある方だったから目の前で言われて少しショックだった。
まぁしょうがないか、合う合わないあるしねと思ってお手洗いに行こうと席を外したらその男性が追いかけてきて。目の前に来て何も言わずに私の顔を覗いてた。
お手洗い行きたかったからスルーしたんだけど何か言った方がよかったのかな。