私の返事は仕事断った事になりますか？

今までの上司は冗談が通じたし何でも許してくれたから、面倒な仕事はやりたくないって言えばやらなくて済んだし、いつもやってくれる同期パートがいます。
でも今の上司にはとても嫌ですだなんて言えないし、たまたま同期も出張でいなくて、そんな時に上司から電話で「◯◯やっておいてください」と言われました。
「やった事無いから出来ないかもです」と言ったら「その下の場所にあるはずです」との返事でした。
私の返事は断った事になりますか？