会社規則と部署の暗黙が違い過ぎて

通勤時間は車で3分の所にある会社で働いてるのですが、入社前の面談では休憩時間の外出可能と話されました。
でも配属された部署の暗黙の了解としては休憩時間の外出は控えるべきと半年経った今更教えられました。
うちの都合になりますが、旦那が激務なので家や子どもの事は全て私です。
それ故に休憩時間の1時間弱も貴重で、帰って夕飯の下拵えしたり、洗濯物片付けたり、時には近くのスーパー行って買い物もしてました。
これらが休憩時間使ってできるだけで帰ってからも家事がかなり楽になるので今更やめるのも、納得いかないというか損した気分です。
「休憩時間の外出は大丈夫らしいですよ？」と柔柔と指導者に話しましたが、
「それはみんな知ってるけど。普通はあんまりしないよね。お子さんが家にいる長期休みとか、どうしてもの時は外出してるけど。主さんはほぼ毎日外出してるよね？イメージ良くないと思うからやめられないかな？せめて週一だよね。」と言われたんです。

正直、これが中途採用の希望の一つとしてあったので。
休憩時間の利用ができなくなるならせっかく半年かけて覚えましたが、また別で仕事探そうかも悩んでます。