再婚なんかするから子供が支援学級に行くんだ

再婚なんかするから子供が支援級になんか
行くんだよ！って
前夫の家族から罵られました。
小3の娘がいます。保育園でも健診でも、
何も指摘されていませんでした。
娘が保育園卒業間近に、前夫が急死しました。
前夫の両親は1キロ離れたところに住んでいます。前夫の弟家族も義両親と同居しています。

前夫の弟には男の子がいて
うちの娘と同学年、同じ小学校に
通っています。
夫がなくなってから私は必死で働いていて正直、娘に手をかけていませんでした。
でも学校からも連絡とか一切なかったです。

私は、去年から職場の上司とお付き合いして
このたび赤ちゃんを授かりました。
2月に入籍予定です。
4月に赤ちゃんが産まれてきます。
去年の個人面談で
「娘さん、算数が苦手なので発達の偏りがあるかチェックしませんか？」と担任に言われました。
軽い気持ちで承諾したら、それは本格的な知能検査で娘はIQ72と出ました。
担任から、「このIQでは普通級は難しい。女の子は集団から遅れをとる者を排除しがちだし、いじめに繋がるから支援級へ行ってほしい。お母さん、お腹大きいでしょ？赤ちゃんの世話をしながら娘さんが普通級についていける様にフォローするなんて無理でしょ」とのこと。
(通級がない学校です。普通級か支援級になります。)

彼氏に相談したら、俺も協力するから
普通級でやっていけるようにフォローすると言ってくれて。
その事を担任に言っても渋い顔をされてしまいました。
娘は支援学級にいくことがほぼ決定しました。また娘は何の気なしに「こんど赤ちゃんが産まれてくるねん」とクラスで発言してしまい。義弟の息子がその事を前夫の家族に言いふらしたため、前夫の家族が押し掛けてきて罵倒されました。
あんたが娘に手をかけていれば支援級に行かなくてすむはずなのに。お腹の子供はおろしなさい！女の子が支援級なんて一生お嫁にいけないじゃないか！どうするんだ！と。
もう出産まで3ヶ月だしおろせません。
予定通り彼氏と再婚しますが、
お腹の命まで罵倒するなんて許せません。
私は幸せになってはいけないんでしょうか？