それ、ごく普通一般独身男性ならそういう態度になっても仕方ない、むしろ普通だよ。
今まで子供と接したことがない人が、3歳のいちばんやんちゃな時期の男の子を目の前にしたらドン引きしちゃったんだと思う。

私も子どもができる前は外でうるさい子どもみたら、親は何してるだ、やめさせてほしい、いつまで泣いてるんだ、とか感じてたもん。
それくらいの年頃の子供を親の思う通りにコントロールするのはどれだけ難しい事か知らなかったし、子供の相手がどれだけ大変か彼氏も痛感したんじゃない？

まだ3ヶ月だし焦らない方が良いよ。
避妊だけはしっかりとね。