既婚男性の同僚に連絡先聞ける？

万が一変なことに巻き込まれたり相手奥さんと自分の旦那に誤解されたくないなと思って。
ここ数年、既婚どころか男の人と連絡先交換なんてしなかったんですが。
先日、長く勤めた会社を退職しまして。
本音も冗談も話せる男性と退職時に最後だからと連絡先交換しておけば良かったなと後悔してます。
邪な気持ちは全くなく、本当に気の合う人だったので、同僚から友達として続けられたかもと後悔してます。

連絡先交換に意識し過ぎでしょうか？