父親の愛情不足なのか…

5歳の息子が何処に行っても、男性に話しかけて困っています。
例えば……公園に連れて行くと、他所の家族のお父さんに話しかけて、その他所の家族と一緒に遊んでしまいます。
見た目はガラの悪い(失礼ですが)スケボーしている集団にも近寄って、一緒に遊んでもらっています。お菓子やジュースも買ってもらうほど。
息子が近寄って行くたびに、謝りに行くのですが皆さん「大丈夫ですよ、僕達が逆に遊んでもらってます」など優しい言葉を頂くのですが、やはり申し訳ない気持ちです。

旦那は息子が産まれた時から単身赴任で、父親と接する機会なく育ってきました。
どうすればいいのかアドバイスお願いします。