これは図星じゃないよね？

今日、近所のコンビニで数店舗屋台がでる小さな祭りがあったので、子供を連れて行きました。その中の一つの屋台が毎週そのコンビニで出店していて、子供がその屋台の出し物が好きなのでよく立ち寄っていたせいで顔は覚えられてる、という話は旦那にしていました。
そして今日、仲良くなったの？とか旦那が聞いてきたので意味が分からず誰と？と聞き返したら、いや、その屋台の人と。毎週行ってるんでしょ？とあらぬ疑いをかけてきたので、私はかなりムッとしてしまいました。
やましい事があるからムッとするんだと言われましたが、そうなんでしょうか？
私はありえない所に疑いの目を向けられ、その事に立腹したのですが。皆様はどう思いますか？