笑顔で挨拶すら出来なかったら「気難しい人」「面倒くさそうな人」って思うかな。世間話出来なくて困ってるって何が？生活に支障があるなら何か特性あるんじゃないの？
みんな興味なくても適当に合わして話してるだけだから、無理してその輪に入る必要ないと思うよ。