紹介状もらった病院に行かない場合

先日婦人科を受診したんですが、コレステロールが高いので頸動脈エコーの検査が必要なので対応してる病院に行ってくださいと言われました。
その時は内科のかかりつけ医がその検査をやってるかわからなかったので、どうしようかなと思っていたら先生が、この近くでしたら〇〇病院がやっているのでそこでよければ紹介状書きますよと言ってくださりお願いしました。

ですが家に帰って、自分の血液検査結果や色々なことを調べたら、循環器内科専門のところで、今後も継続的に診てもらえるところに行きたいと思いはじめました。
紹介状いただいたところは検索したら健診専門センターみたいな病院で、正直建物も古く暗い感じで苦手な雰囲気でした。

紹介状買いてもらったところに行かないのは、一般的にありえないことなのか、次回の診察で先生に話せば大丈夫なことなのか、わかる方いたら教えてください。