断る事は出来ると思いますよ。
私の市は事前に電話が来て、いつの何時ごろお伺いします、と言われて、来たら赤ちゃんと授乳の様子を見て何か相談か不安があれば話をして子供の身長、体重測ってもらって、生後1年間の予防接種のスケジュールを立ててもらえるのでとても助かってて子供2人いますが二人とも来てもらいました。