職場で言われた事が引っかかった

昼休み中。
私160cmなんだけど、10歳上の既婚者の男性が「160あるんだ。声高いのに背デカいんだね。やっぱ背がデカいと同性から羨ましがられるんじゃないの？俺170cm。」って言ってきた。
「170cmも高いじゃないですか。それに女性は小柄な方がかわいいですよ」って言ったら
「うんうん。俺の嫁が155cmなんだよね。やっぱ女の人は150cm代だよね！」って言われた。
返事に困ってるとその人が続けて「まぁ背はもうどうしようもないんだから、主さんは他のとこで自分を磨くしかないよね。異性にもウケるためには。」って。
声だけ聞くと150cmくらいの女性の声のトーンなのにね、とも言われた。
これって女として私の身長が残念って言いたかったのかな？