旦那と喧嘩になって結局解決せずに寝室に行ってしまったんだけどこれ私が悪い？

会社の人と今日食事に行ったんだけど、相手の人は男性で(もちろん男女の関係もないし疚しい気持ちもない)旦那に変な勘繰りされるの嫌だから女性だと言っていたけど、それが旦那にバレて不倫だとか言い出して喧嘩になりました。
本当にただの同僚だし、そういう関係どころか雰囲気にもなった事もないです。
そう説明しているけど聞く耳持たずだし、どうしたら理解してもらえますか？