軽く流すのが正解なんだろうけど、そのノリを良しとしたと思われても不愉快。

冗談でも普通に不愉快なのでやめてください
って真顔で言って、相手の反応次第で、悪ノリがしんどいのでもう帰りますねってなるかな