年末調整で

いつも馬鹿にされている上司に怒り口調で、年末調整を渡されて「今日か、明日までの提出なんだよね。ちゃんと間違わないでもってこれるの？」
「絶対完璧にしてよね」と言われてイラッとしたので「父親が税理士で確認してもらえるので、出来るだけ間違わないで持って来るようにします」と答えました。
事実ですが、私には何の遺伝もしてなくて計算もろくに出来ずに比べられて嫌な思いをしてきたので、どこの職場へ言ってもこの話はしたことなかったです。
次の日に、もう他の社員へ伝わっていて「本当なの？」と確認されました。
「そうですが、何の遺伝もしてないので流して下さい」と答えました。
他の人も聞いてきて、また比べられたら嫌だと感じて言わなければ良かったと後悔しました。
これから、職場でどう答えれば終わると思いますか？