友達と遊ばない

3年生の息子は学校から帰ってきてずっと家にいます。たまに遊ぶのも特定の子だけで滅多にないです。うちは新興住宅地で周りは毎日遊んで賑やかだし、同じ歳の子も沢山いるのに、仲間に入ろうとしないのか、入れないのか…。
引っ込み思案で人懐こくはないし、輪に自分から入れないので小さい頃から心配で困ってはいました。
こういう性格なのでしょうが、親の私はヤキモキしてしまい、ついついあそびにいかないの？とか口を出してしまいます。
このまま黙って見守れば良いと思いますか？