マナーの問題だよね。
相手も奥さんが居るわけでしょ？

ぬしさんと元カレが、いくらそういう気持ちはない！！と断言しても、第３者からみたら男と女だよ。まして、かつては好き同士。

寛大な人もいるのかもしれないけど、旦那が嫌がったのなら即刻やめるべきだよ。素直に謝って修復したほうがいいよ。そして、連絡取り合うのもこれっきりにする。相手の奥さんからも誤解されてもおかしくない。