パート先の「どうしたんの？」待ちの人ウザい

私事務なんだけど、なにか用あるとき直接
「〇〇ってどうやるんですか？」とか「〇〇ってどこにあります？」とかはっきり聞けばいいのに
私の席の近くで「あれ？」とか何かを探してる風、困ってる風でウロウロされます
今まで私が「どうしたの？」って聞いてあげてたんですけど
さすがにもうウザくなって先月からはこちらからは「どうしたの？」と聞かなくしました
その代わり、「何か困ったら声かけてね」とは何度も何度も言っています
すると
上司に、「主さんが冷たいからやめたい」と言ったそうです
これ私がもっと大人にならないといけないんでしょうか