連中って言葉。入院中なんだけど、

今日友達3人がお見舞いにきてくれて、入れ違いに義父が来て、友達が帰ったあと
｢あの連中は職場の人？｣
と聞いてきました。
連中って言葉ってなんかその人たちをしたにみてるというか、嫌な感じに聞こえたんですが普通に使う言葉なのですか？
友達悪く言われた気がしました。