妊娠報告は安定期まで待つべきなのか

育児休暇中に妊娠し、復帰する月に安定期に入ります。
人事異動もあるため、内示が出てから妊娠報告と復帰後の業務の相談をする予定でした。

しかし、産婦人科についているのを職場の人が見て噂になり、今日呼び出されました。
育児休暇前に所属していた課の上司から「妊娠しているだの、流産しただの噂になっている。」と言われました。
そのため、安定期まで待っていたことと異動になる可能性があったため報告を控えていたと伝えると非常識だと怒られました。

安定期まで待ってから報告するのは非常識なのでしょうか？

追記
前回の妊娠報告の差異は悪阻がひどかったため、上司に3ヶ月の時に報告したら流産するかもしれないのに今言うなと怒られています。