同じ職場の20年下の男性に可愛いといわれたら

夫婦で（私は41歳です）、課は違いますが同じ職場で働いています。
先月、夫の課から私の所に移動してきた、年下男性が私の事を可愛いと言ってくるのです。
私も、最初は「はいはいありがとう、飴ちゃんあげるね」と軽く、流してたのですが…会うたびに、可愛いと言ってくるのでどうしたらいいかわからなくなりました。
昨日は、帰りを待ちぶせされ途中まで付きまとわれたので夫に、0相談すると「おばさんが若い子が言う言葉に本気になって気持ち悪いぞ…付きまといもたまたま同じ場所に帰るだけじゃないのか」と言われました。
今日の午前中も、可愛いと言って後ろから抱きつかれたので怖かった
客観的な意見を聞かせてください