地元に帰ろうかなって思うのを思い止まろうと出来ないのはなんででしょうか？

主人の実家に引っ越してきて半年
私の地元までは片道600キロ
元々主人はモラハラで人の気持ちがわからないアスペルガー気味なんですが、ここ最近私に八つ当たりで「早く出て行けよ」「いつ出て行くんだよ」「お前を56したいと思ってる」「お前56されるで」などと言われました。
家事育児などはすべて私、休みの日は運転しない主義のためどこ行くにも私が往復運転して帰ってくると「はぁー」と言って食事が出来るまで寝ています。
お茶を飲む時も私に「お茶」
細かいことを言い出したらきりがないんですけど、56したい発言されてから２週間は経過してるんですけどどうも心が立ち上がれなくなって地元に帰りたいと思ってしまってます。
主人の仕事を手伝ってるのもあるから留まったほうがいいのかなと思いつつ、気持ちが追いつきません。