閉店時間になったから来客断ったら社長に怒られた

個人経営の飲食店パート
社長は普段ほとんど店には出ておらずパート数人で回してます
四時で閉店だったのできっかり四時に看板しまいに出たらちょうどお客さんが
もう終わりでしたすみませんと言ってお客さんもあらーと帰って行ったのを
普段いない社長がたまたま見ていたようで
なぜ店に入れないんだ少しでも売り上げあげようと思わないのか！と怒鳴られ
気持ちは分かるが
そうは言ってもパートの皆はもう退勤の時間だしそもそも閉店の時間なので火も落としてる
もう一度温めから始めると時間もかかるしこちらの帰る時間も遅くなるわけで…
すみませんと謝りましたが
これって融通が効かない私たちが悪かったのでしょうか？