子供の親権の問題で悩んでいます

1年と少し前に旦那と離婚をして親権は私が持っています。
旦那が仕事上、親権を持って子供と生活して行くのは無理だと言うことになったので。
でも離婚をして自分がフルで働くようになり、それが思いの外大変で、離婚をしたのに余計に自分の時間が作れなくなって気持ちが休まりません。
今交際中の人からも、連れ子で再婚とかはするつもりがないと言われたし、それで納得できないなら別れようと言われました。
旦那に親権を渡したりは現実的に不可能だしどうにかして現状を打破する案とかありませんか？