4年2ヶ月前に離婚して今になって元旦那から慰謝料請求されています

4年と2ヶ月前に離婚したんだけど、当時は一応円満離婚で財産を半分にして離婚しました。
その時に交際していた人がいて、その人のことバレずに離婚できたけど、少し前にその人とお別れすることになり、ストーカーみたいなことをされて警察に相談したりして接近禁止を取り付けたら、その人がこれまでの証拠を全部持って元旦那に突撃したらしく、それで元旦那が慰謝料請求をしてきました。
不倫の時効って3年って言うし、4年以上経っているから時効で慰謝料の請求なんて出来るんですか？
元旦那側が弁護士を立ててきて、知ったのは数ヵ月前だから時効ではない、証拠かあるから裁判になってもこちらに負ける要素がない、200万の請求に対して減額の申し立ては出来ても、こちらの裁判の一部負担と私側が弁護士を雇った場合の弁護費用と裁判費用で逆に高くなるみたいなことを言われました。
4年以上経ってから突然200万円支払えってこんな一方的な恐喝のようなことって通るんでしょうか？