扶養内パート、理解されない。

扶養内パートで雇われたのに、週4の7時間勤務。
50人規模の会社だからか雇用契約書とかは特にない。
普通に働いていたら抜けてしまうので時間を短くしたり休む等の対処をして欲しいと上司と経理に相談したら、それはあなたの都合だよね？休まれたら周りに迷惑がかかる。お金持ってるんだから税金ぐらい払えば？もう面倒だから扶養抜けちゃえば？みんなガッツリ働いてるよ。旦那さんの稼ぎがいいんだね。など言われました。
周りも社員の中の1人パートなので社員で扶養内パートを理解してない人から嫌味を言われたりして休みにくい雰囲気。
家の近くでせっかく見つけた職場だけど辞めるしかないよね。すごくストレス