全部正直に義母に話してみては？。
このままでは働きに出てお金稼いでも、働きに行かしてやってると言われかねないので、働くだけ逆に辛い状況に追いやられるかもしれません。
理解してくれないなら離婚した方がいいと思う。
子供はいずれ自立するのに、子供の為だけに生きてるなんて、虚しすぎます。
ただし、現時点で高収入を稼いでないなら、お子さん全員連れて行くのは、いくらなんでも無理だと思います。
お子さんは連れてとか言う人いますが、お子さん置いてきても、母親を放棄した訳ではないし、旦那だって育てる義務はあるんだし、とにかく共倒れは避けるべきだと思います。
お子さんが今の土地に馴染んでるなら、お子さんは置いてきて、定期的に面会したり、養育費払えば、母親としての義務はきちんと果たしてるので母親失格と思う必要ないですよ！。
頑張って下さいね。