問題ないかどうかはお子さん次第ですが、あえて接触させる理由が無いと思います。
きょうだいなどであればしょうがない部分もありますが、新生児のうちは風邪を少し引いただけでも重篤になりやすかったり、入院になることが多いです。急変もしやすいし予備力も無いので。

ちなみに予防接種で予防できる感染症よりもふつうの風邪や胃腸炎の方が身近で怖いです。
もちろん予防接種で予防できる感染症が問題ないわけでも、気にしなくてもいいわけでは無いですが！