私は外資系の企業に勤務してるので、職場でその手の冗談は言わないですね。うちの職場でそんな発言をする人がいたら、間違いなく有名人ですね。悪い意味で。
おかしいかどうかは、この際問題ではないと思います。
場所や相手が変われば相応しい言動も付き合い方も変わるだけの事です。
今の上司は、主さんの言動を職場には相応しくないと思っているんでしょうね。
これ以上、会社の上司を不快にさせる前に、ちゃんと気づいた方がいいですよ？