これ不倫になってしまいますか？

始めに、私は全くそんな気もなかったですし家族を裏切って自分の欲をとかも一切考えていませんでした。

職場での話なんですが、私は工場でピッキングのパートをしていて、そこでの話になるんですが、社員の人と出荷する物をパレット(フォークリフトで運べるようにする板)に乗せていました。
休憩時間になってその社員の人が休憩に行きましょうと言って、簡易詰め所に行ったんですが、そこでお茶を入れて社員の人に渡す時にコップの底に指がかかるように私が持っていて、その社員の人はスマホを見ていて確認不足で、私の手を包むようにコップを受けとる形になり、結構ガッツリと手が触れてしまいました。
社員の人もすみませんと謝ってはくれたけど、これだけでは不倫とか不貞にはならないですよね？
ずっとこの事でモヤモヤして家族の前で申し訳ない気持ちとか自分の警戒心の無さで泣きそうな気持ちになります。
一応旦那に全部話して誠心誠意謝罪した方がいいですか？
そうしないと自分の気持ちが晴れません。