パートとか時給で働いてる方に質問です。タバコ事情

タイムカードで休憩押さずにタバコ吸いに行くのって普通ではないですか？
社員とかいない時に喫煙者のパート同士でこっそりタバコを一本だけ吸いに行く（少し離れた民間の喫煙所に）んですが、何故か近隣から「タバコ吸ってすぐ仕事戻るなんて」みたいなメールが来ました。
そんな気になるもの？
休憩押さずに行くのダメですか？