私はバツイチで条件悪いから、初婚夫の希望、子供3人を叶えるべき？

私はバツイチで小1の長男を連れて再婚。夫は初婚です。
夫との間に次男が誕生しました。
長男の小1の壁と、私が次男出産直前にインフルになったため、産後の回復も遅れて、もうクタクタです。

夫が、そろそろ次の子を作らない？あと2人は産んで欲しい！絶対に！と言います。内心はもう子供は、長男と次男だけにしたい。

現夫の実子が2人以上だと、バランスが崩れるというか。
前夫の子は長男1人、現夫の子供は次男を含めて3人だとバランスが崩れますよね？
返答に迷ってると義母に相談したらしく、義母から連絡が来ました。

義母からは、あんたはバツイチで条件が悪いのに初婚のうちの息子に拾ってもらった、子供の数ぐらいうちの息子にあわせるべきだろ！と。

みなさんならどう思いますか？