初対面の女から「旦那さんカッコいいですね。毎日不安じゃないですか？」と言われてモヤモヤ

今日、旦那と久しぶりにデートしたんだけど
帰りに古民家カフェに寄ったら、旦那がトイレに行ってる間に
隣の席にいた20～30代くらいの女（１人で本読んでた）から
「旦那さんですか？カッコいいですね。毎日不安じゃないですか？」と言われた
（他の女に取られそうで不安じゃないですか？）という意味だと理解して
「いえ、大丈夫です。ありがとうございます」と答えたけど
なんか失礼なこと言われた気がして、今もモヤモヤしてる

こんなことでモヤモヤするのは変かな？