命に別状がある、ないに関わらず、自分の親だったら心配なのは当然です。
もし私が同じ状況なら、本人の意思を尊重します。
妊娠中で色々と計画されているのは分かりますが、ご主人が行きたいのなら快く行かせてあげてください。自分の親に対して無関心な人もいる中で、ご主人はとても優しい人だと思いますよ。