人手不足や欠員が出た時のこの返し、上司的には実は色々見てるのかな？

パート先で欠員が出て上司があちこちで代わりを探したり調整したりしていました。
私が仕事上がった時に上司に「上司さんは◯時から入るんですか？」と聞いたら「主さん入りますか？」と返されたので、お断りしました。
いつもは「嫌です」とかバッサリ断りますが、まだ慣れない方だったので「大丈夫です」って感じで断りました。
冗談として受け止めてますよね？
それでこの人はモチベーション低いと思われたりしないですよね？