妊娠中に言われ傷ついた事。

妊娠初期から悪阻で2ヶ月入院。お腹が張りやすい体質で、職場復帰してからも良い時は一日出れるけど張りや体調不良がある日は早退したりで、逆に迷惑がかかる気がして上司相談し、産休まで休んでも大丈夫と言われ、診察に行こうと思っていた矢先に、独身女性の同僚に「私、直接妊娠報告受けてないし社会人としてどうなの？そんな感じで出られても困るんだけど、明日からも育休明けてからももう二度と会う事ないと思うけど。皆優しいから私が言うけど。あなたの為を思って言うけど。」と言われました。
私より若くて同じくらいの妊婦が他にもいるんですが、あまり体調不良もないようで、その子と比べられたりもしました。

すぐ入院になって直接報告してなく、休みをいただいた事だけを謝罪し復帰しました。
他の人に負担かけているのもわかっていて声はかけれいます。
なのに、そこまで言われてまでここにいる理由もないのでは？と退職を考えています。
私がおかしいのでしょうか。