既婚同僚とどこまで大丈夫？

シフト制の仕事なので平日休みがあるんですが。
同僚の既婚男性から一緒にラーメン食べ行かない？と話の流れで言われました。
奥さんがダイエット中で家族でラーメン屋は控えてる。
人気店に行きたいけど、休日は混むから平日に行きたい。
あまり1人でご飯が好きじゃない。
と、色々理由はあるそうです。
車移動する店なのですが偶然知り合いに見られてあらぬ誤解を招くのも怖いし。
現地集合・解散なら大丈夫かなと思うのですが、どうですかね？
意識する相手ではないので、完全に断って仲悪くなるのもなんだしなーと思ってます。