コストコに男性の同僚と買い物に行くのは悪いことでしょうか？

私は既婚者ですが、会社の同僚（同期で、男性ではありますがLGBT系のため、女子と一緒に話すほうが盛り上がれるタイプ。）の自宅マンションで、彼＋女性３名（他も職場の同僚）でホームパーティを開きます。職場の飲み会もなくなってしまったので、仲良しグループだけで集まる感じです。
その買い出しを、近所の私が同僚の彼と一緒に行くことになりました。

私の旦那と同僚の彼は昔からの知り合いで、実質は女子会的な感じの会合なのも分かっているので、旦那は全く気にも留めておらず、子ども見てるから行ってきていいよと言われました。

しかしふと、同僚本人から「俺と買い物しているのを近所の知り合いに見られたりしたら誤解を生むかもしれんから、近所のコストコではなく、少し離れたところに買い物にいく(ほかのコストコだとしたら、車で1時間半くらい)か、やっぱ俺一人で行こうか？」と連絡がありました。

職場では、彼はカミングアウトして男女のカテゴリがわからなくなっていたので、全然気にしたことなく、正直なところ、あ、やっぱ、そこ気にするべきとこだった？と今なぜかショックを受けています。

そうだねというのもなんか彼を男性として意識しているような気がするし、いざ誤解に繋がれば大変なことなので、いい加減に考えることもできない気がするし。

個人的にはやましいことは全然なく、見られも構わないし、二人で買い物するってそんなに問題になるようなことだとも思わないのですが、世間的にはどうなのでしょうか？やっぱり勘ぐってしまうのでしょうか？