それだけ表面的にでも人望ある人で、帰り道も一緒なら下手に疎遠にしない方が無難かもね。
主も予想してるようにきっと主にもあだ名つけてるだろうし。
主に話してるのは単に近所で帰り道が一緒だから今後それなりに近い距離感の仲になるだろうと思ってるからでは？

まあでも人の悪口聞きたくないよね。一緒に言ってると思われるのも嫌だし。
相手に合わせて同じような発言しないように徹底することが自己防衛の一つかと。