社交辞令が全く通じない人に対して

結構よく来るお客さんなんだけど、帽子被ってて、「帽子どう？」と聞かれたので「素敵ですね。お似合いですよー」と社交辞令で答えました。
そうしたら次に来た時に「帽子飾った方がいいと言われたから今日も被ってきたよ」と言われた。怖くて「そうなんですね」と答えたんだけど、「どう？」と聞かれたので「ああ。分からないです」と答えました…そしたら「あれ、今日は似合ってないかな？」と…50代くらいのおじさんです。なんか怖い。こういう人ってどう対応すればいいの