どう受け取る？

日雇いでバイトしてまし。たまたま数回入ったバイト先、60くらいな男性と作業することになり‥
その方はお話好きで仕事しながら聞いてました。3回目くらいからなぜかその人と仕事一緒にされなくなりました。で、同じ派遣の男性と組み話しかけられたら話しながら仕事してました。
で、最近行ったのですが‥そうしたらやはりまた60過ぎのオジサンとは一緒ではなく‥
そこの付近にいたパートさんが【あのオジサン（60過ぎの）、おしゃべりでしょ、あの人女性には話しかけるから、ミスも多いってみんな言ってるわよ。何回やってるのよねぇ、教える立場じゃないわよね‥おしゃべりに夢中でミスするし仕事遅くなるから。気を付けて】とか言われました。
これっておしゃべりオジサンが女の人だと話しちゃうから一緒に仕事やるのを離されたのかな?私に対する警告？はたまた、オジサンと話してるのよく思われてないよという助言？ちなみに私はペラペラは話しませんが話しかけられたら話します。だめなんでしょうか