バツイチ夫との夫婦関係に悩んでいます

精神的にもまいっていて誰かに話を聞いて欲しい、意見も聞きたいと思い投稿しました。
どうか私への批判や注意も優しいお言葉でして頂けると嬉しいです。
夫はバツイチで前妻さんの方にお子さんが２人います。私は初婚で結婚後すぐに子どもを授かり現在1歳、第二子も授かり妊娠4ヶ月です。
子どもさんとの面会は基本1日/隔週で10〜18時と約束していますが、相手の都合により変わる事があります。
そして今回の妊娠を機に、臨月ごろ〜産後ある程度落ち着くまで(最低でも産褥期の間まで)は面会は控えて、こちらの育児に専念して欲しいと夫に話したところ、とても不機嫌になってしまいました。
妊娠出産の大変な時期だからこそ今の家族の事を考え、了承してくれると思っていたので夫の反応にショックで、私達よりも前の家族の方が大事なのだと劣等感に苛まれるようになりました。
それから夫が面会に行く度に劣等感は強くなり、面会時には前妻さんも常に居る事から強いストレスを抱えるようにもなってしまいました。せめて面会は子どもさん達だけとにしてくれないかともお願いしましたが、子ども達が唯一両親と過ごせる時間だからと言われ、そのまま何を言っても最終的には夫は私の話を聞き流していました。
お子さんに罪がないのは分かります。しかし、このまま前妻さんとの子どもとの絆を深めるために、我慢し続けないといけない、なにより辛い気持ちに寄り添われず、話を聞き流されることが蔑ろにされているようで一番悲しいです。
家族を2つ持たれているようで辛いと話しても、子どもは自分の家族である事は変わらない、けど今の家庭はここ(私達のところ)だ、と言います。私は決して子どもさんと会って欲しくない訳ではなく、新しい家族を作った以上はある程度の線引きはして欲しいと思うのです。
最近はイライラや悲しさで夜も寝れなかったり、ふとしたキッカケでひどく泣いてしまう事もあります。妊娠でのホルモンのバランスで精神的に不安定になりやすい事も分かっていますが、夫との喧嘩も増え、毎日辛いです。
第一子の妊娠前まではどちらかというと性格も穏やかであまり怒ったりしないタイプだったので、今の自分が自分じゃないようで怖くて戸惑います。
どのような心持ちでいれば心穏やかにいられるでしょうか？夫にもどのように話したら良いでしょうか？