パートなのに責任者扱い。辞めたいけど、私が抜けたら回らない。

現在、パートとして週5、フルタイムで働いています。
三人兄弟を育てていて、一番下はまだ小5。家のことも落ち着く時間もないまま、毎日ギリギリで回しています。
うちの職場は社員2人、パート2人だけ。
あとは高齢の時短バイトさんが数人。
私が実質「現場をまとめる係」みたいになっていて、社員からの圧も強く、責任も重い。

他のパートさんやバイトさんは自分のペースで働いていて、
「パートは時給で働く人」のはずなのに、私だけ、社員的なポジションを期待されてる感じがします。
正直、限界。でも私が辞めたら業務が崩壊するのもわかっていて、辞めるに辞められない。
仕事も家庭も、どっちも中途半端で自分がすり減っていく気がして…。

同じように「実質リーダー扱いされてるパート」の方、いますか？
抜け道を知っていたら、教えてほしいです。