パートを頻繁に変えるってダメ？

この３年間で三箇所パート先を変えました。
契約外な仕事があったり、お願いという名の半強制的な土日出勤の要望(平日のみの契約)があったり、お局様の強い人間関係が厳しい場所ぱかりでした。
昨日旦那との会話でお前が我慢できないだけ、ワガママみたいな感じで言われました。
家庭の事も子供の事も地域のことも全てやりながらパートまでしていてとても自分の身体と精神に余裕がありません。確かに辛抱強くないのはわかりますが果たして主婦パートに肉体や精神面を病んでまで続けるのはどうなの？と思っています。
常にイライラして子供と旦那に当たるような状態になってまで続けることに意味はあるのかと。

ただ反面、長く続かないのは自分が悪いのか、自分は普通の人間とは違う？だめなやつなんじゃないか…とかなり不安にもなります。

パート先を頻繁に変えるのって印象悪いですか？