パート先で言われた事に傷ついて…

私には、2歳♂と8ヶ月♂がいます。お金に余裕が無いので(オムツやミルクは買えるけど貯金できないし急な祝い事などに困るくらい。)パートをしています。
長いので１レス目に続きます。
それで働いているのですが、下の子が風邪ひいて高熱が出て欠勤、２週間後には上の子が熱で欠勤、と１ヶ月のうちに２、３日休んでしまっています。昨日、パートのリーダーの人に｢よく休むから迷惑だし、だいたい子供が１歳にもなっていない乳飲み子なのに働くなんて普通の神経ではない。育児を楽したいから働いてるだけ。｣など色々言われました。
辞めようかなと真剣に悩んでいます。でも採用してくれる会社は滅多に無いし、どこに働きに行っても同じかなと思い、今の会社で頑張ろうか…と。旦那に相談したらミルクやオムツは買えるんだから無理して働かなくていいと言います。
皆さんはこんな状況ならどうしますか？