離婚した翌年に再婚したんですけど早すぎですか?浮気疑われてます。

私は前の夫との間に子供が恵まれず、それでも自然に任せて出来ないなら出来ないで良いかと過ごしていたのですが40歳になる年に「やはり子供が欲しいから離婚して欲しい」と言われて離婚しました。

その直後に失う物は何も無いと半ばヤケクソで男性にアタックしてそのまま付き合って妊娠を機に入籍し、年子で双子にも恵まれて3人の子を夫婦で育てています。

しかし、元夫が私が再婚して子供がいることを知ったらしく「再婚が早すぎる」「浮気していたんじゃないか」と言われ、訴訟を起こす準備をしてると言われました。
それか今の夫と話をさせろと言ってます。

今の夫は話をしても良いと言ってるんですけど、出来れば穏便に済ませたいです。
浮気をしてない証明というか、元夫になんて言えば終わらせてくれるんでしょうか…