付き合っていた男性に奥さんがいて、お金を返して欲しいと言われました。

少し長くなります。
シングルマザーです。
自分には付き合っていた男性がいたのですが、子供が出来たと伝えると姿を消されました。

その後、4年程かけて元彼の住所を調べあげ、幸運もあってなんとか特定した結果、彼には家族がいました。
仕事帰りを狙って話し合いに持ち込み、弁護士も交えて話し合った結果、認知しない事と元彼の家族や仕事場に他言しないという約束で最終的には1200万円程受けとりました。

しかし、流石に大金だったので直ぐに奥さんにバレたようで、返してくれと奥さんから連絡が来ました。

弁護士からは法律的には返す必要が無いと言われたのですが、元彼と奥さんから…というか奥さんが、最初は怒り、次に泣き、子供の貯金だからせめて600万は返してくれ怒り、そして最後はまた泣きながら言い出しました。

実の両親からも「不倫した貴方も悪いんだから」「子供に顔向け出来るの?」と言われました。

もう私もよく分からなくなって来てるのですが、私はそんなに悪いことをしたのでしょうか。
納得出来ない…というのが私の正直な気持ちです。
でも、子供が可哀相という気もあり罪悪感もあり、モヤモヤしてます。

出来る限り冷静に客観的に頑張って書いてみましたが、私はどうするべきなのかが分かりません。
第三者の意見を参考にしたくてここで質問させて頂きました。