面倒だろうが、話を中断させられて気分悪かろうが、会話を広げるのが普通の大人の対応。
一応挨拶だけして帰ろうとしてる雰囲気なら別にいいけど、お近づきになりたくて声をかけてきてるなら感じ悪いと思われて当然。
そんな重大な話をしてるわけでもあるまいし。
相手もある程度会話の空気くらい読んで声かけてきてると思うけど。