産まなきゃ良かったのに

職場での話です。
私は子供が小学生のため、夏休みとかよくその人にシフトを頼んでいます。

その人は不妊症らしく、公言はしていませんが子供できたら～と言いながら5年は経っている38歳です。

よく、私が他の主婦と
夏休みだとお昼大変でしょー。うちも昔はそうだった～今はもう高校生だから勝手にしてるけど、小学生だとまだ心配だよね。みたいな話題をしていて私も愚痴ってしまうと

だったら産まなきゃ良かったじゃん
みたいな返しをされます。
その人は話題に入ってません
横から突っ込んできます。

私的にどんなに大変だろうと単なる話題であり、そこまでグチグチ言ってもいないし、子供がいてこそなのですが
シフト代わってもらったりしているし嫌な顔もできません。

どう返すのが一番ですか？

やはり子供がいる人へ、嫌な気持ちを持っているんでしょうか？