今が底だと思うなら離婚する方向で話し合いするしかないんじゃないでしょうか?
小さな積み重ねで離れてしまった気持ちは小さな積み重ねで修復するしかないと思うんですが その努力が出来ないのであれば新しい道を探すしかありませんよね。
前に旦那さんと話し合いをした時はお互いが離婚したくないという結論だったんでしょうか?

旦那さんの何にイライラするのでしょうか?