職場で上司から私だけが「昼食抜き」って言われるんだけど、これって普通なのかな。

有給はとりやすいんだけど、ここ最近昼食抜きを指示される。
お昼休憩に入って私がお弁当のふたを開けたら「主さん駄目だよー！お弁当食べないで！ふた閉じて仕事して！」って私だけが言われる。
他の人はお昼ご飯食べてる。
毎日お弁当作って行くけど家に帰った後に食べてる。
40代の男性の上司に「昼食はとりたいです。昼食抜きだと私倒れちゃうかもしれないです」と言ったらその上司が「まぁ、倒れるだろうね。まぁ…主さん俺より若いし多少は大丈夫でしょ。」って言ってきて同僚たちも「上司がそう言うならしょうがないよね…」って流れになってる。
身体壊すような業務を上司が部下に指示するのはNGな職場なはずなんだけど、私の昼食抜きの件は皆さん何も言わないし受け入れてる。
私の仕事に対する向上心がないからこういう扱いになってるんだろうけど、職場からすれば仕事仲間（というか私）が倒れてもどうでもいいって考えの人が多いのかな？
私はギリギリ耐えれるけど、私以外の職場の人がもし裏で誰かにこんな扱いされてて辛い思いをしてると思うと私も辛いし耐えられない。