これって不倫になりますか？なりませんか？

結婚して16年目です。
不倫になるかならないかの相手は知り合って20年ちょっとで私が大学時代の元カレ。
旦那とは社会人になってから出会っており、関係性は旦那より古いし、当時から体の関係はありました。
最近また仲の良かったみんなで集まる機会があり連絡を取るようになって、個人的に会うようになりました。
旦那と知り合う前からの関係で多分旦那もその元カレの名前くらいは知っており、これでも不倫になるんでしょうか？