いや、無神経じゃない。
全く見ず知らずの人がいる場で話しただけなんでしょ？
もちろんその人に話しかけたわけでもない。
だったら普通の夫婦の会話なんだから、見ず知らずの人のことなんか気にしてたら何も話せないよね？
そこまで周りを気にしている旦那のほうがどうかと思う。