職場での話なのですが

私はパートでもう1人は男性社員で、倉庫の様な所で2人で作業をする仕事をしています。
色んなフロアがあり、他にも働いてる人は勿論居るのですが、5,6時間程度上記の様な状態です。

最近その人との会話が苦痛になっています。
元々お喋り自体は苦手ではないのですが、作業に集中したい時もあり、話しかけられるだけならまだしもずっと愚痴を聞かされたり、用もないのに名前を呼ばれたり、声も通る感じではないので「え？なに？」って思いつつ考えて返事をしてしまう時もあります。

こんな状態の時、その人とどの様に接していけば良いでしょうか
すごい忙しい！ってアピールしながら作業して話しかけないでオーラを出してたら、先週末辺りかりすごくムスッとした態度を取られモヤっとしています。