社長が「貴方が好きで側にいたい」と部屋に入ってくる

アラフォーですが社内でやりがいのある仕事を、任され充実していましたが、社長が何かと理由をつけては私に話しかける、付きまとうということが頻繁にあり困っていました。そのうち秘書として行っていた仕事の1部を社長がかわりにするようになって室内で2人で過ごす時間が増えてきました。今では毎日のように2人で仕事をする時間があります。
理由をきいても、些細なことのように思えて本当にこのまま過ごしてもいいのか疑問に思い、わたしが自分の力で業務をします、だから社長はもうサポートされなくても結構ですと何回もも断ったのですが「その仕事をやらせてください」「もう諦めて僕のものになりなさい」と言われ、どうしても引き下がってくれません。こういう場合はどうしたら良いのかアドバイスをもらえるとうれしいです。