前の会社に戻ろうかな。

ダブルワークオーケーの職場で働いています。
面談の際も、掛け持ち頑張ってくださいと快諾されました。
ある日職場の上司（面談者とは別の人）が、別の会社と掛け持ちするやつはシフトも他社優先で態度が悪い。どちらかに絞れと言い始め、会社の圧で片方を辞めることになりました。やめた方の会社に事情を説明すると、うちも人手は足りないけど、無理やり引き止めることは、パワハラになるから、自由に辞めてくださって大丈夫ですよ。と言われ、辞めることにしました。
数ヶ月前に、今の会社一本に絞ったんですが、上司が少し気に入らないことがあると、社員にパワハラをする職場だと気が付きました。
上司は有休を認めないタイプ。気に入らないとラインも既読無視。。。全然返事こないし面談もしてくれないのでシフト相談もできません。
やっぱり辞めた方の、前の会社のほうが良かったのかな…と悩んでいます。