今日入社したばかりで飲みに誘ってみたけど

今日入社して、全部で私含め5人新人です。
話の流れでみんな酒好きということもあって、今度のみにいこうかと誘いました。
みんな笑っていましたが、後からこっそり、2人が、ちょっと飲みはねぇ、と話してるのが聞こえてきました。
あとの1人は、休憩時間も仲間の輪に入ってこない人もいて付き合いが悪いです。
せっかく新人同士で仲良くして話そうとしてるのに雰囲気悪いです。その人は飲みの話をしている時、仲間に入ってこなかったから、こっちから誘いませんでしたが。
新人同士仲間意識強く持って仕事したいのに、空気読めないのがいると、雰囲気悪いです。
どうしたらいいですか？