ご主人と相談した上で、とりあえず不妊治療を忘れて半年～一年位過ごすことを勧めるよ(諦めるのではないよ)。
休むのが怖いなら3ヶ月でもいいから。
その間、子供がいたら出来ないこと(大人な旅行、食事、映画鑑賞等)を思い切りしてみたら?

その後で、もう一度ご主人とこれからの事、主がどうしたいか、どう思っているか伝えて話し合ってみると良いよ。
離婚したいならその後でいつでもできるからさ。