保育園休園で特休使って上司に言われたこと

上司「子ども何歳？」
私「4歳と２歳です」
上司「家の子ども４歳だけどSwitch渡してたらずっと集中してゲームしてるし僕は仕事できるけど無理なの？」
私「本当に申し訳無いのですが、日中は厳しいです。
2人ともゲームした事なくて、パソコン起動するとテレビ見てると思って寄ってくるので難しいです。昼寝時間と寝かしつけ後の夜９時からなら多少時間取れますが。。。」
上司「夜に仕事しても日中ガッツリできないと勤務つけれないよ」
私「もちろん承知しています。チームメンバーにご迷惑かけてる分、最低限の事は空いてる時間にお仕事させていただきます。」

実際にかなり休んで会社と同僚に迷惑かけたけど、夜に割と勤務付けれないの承知で仕事して同僚からは「たくさん休んでごめんなさい」と伝えると「休みなのにありがとう」とか返ってきてたのに仕事の成果が少なすぎて４月から降格が決定した。。。

上司も大変なんだろうし降格も仕方ないけど、上司の言葉だけが腑に落ちない。。。
４歳の子どもにずっとゲームさせて自分は仕事してるって普通ですか？