私は買い物で留守にしていましたし、親が留守で子どもだけで留守番のときには防犯上電話にも来客にも応対しないよう教えてますので。
何か緊急の御用でもおありでしたか？

と淡々と説明して用件だけ聞いて、そんなおばさんの八つ当たり無視すればいいんじゃない？