その時の会話の流れによる。
大した脈絡もなく唐突に自慢話を始める人に対しては「この人ちょっと変な人かも…」と思うけど、自然な流れで出た話なら別に引かない。

まぁとは言え、普通に会話しててそんな流れになる事って滅多にないから、基本的には引くのかも。