うちも同じ境遇です。うちは風俗通いと浮気未遂もあったけど、不貞には入らないと言われました。。夫のことは人として尊敬も信頼もないからこの先離婚したいけど、決定的な離婚理由もなく有責で離婚ができないからどうしようって状況ですよね。
弁護士に相談したところ、別居をしたうえで婚姻費を請求し続ければだいたい相手が折れて離婚に応じることが多いそうです。
主さんのとこもまだ家を建てて3年くらいなので離婚の説得は難しいと思います。
私は今は手に職をつけることと、へそくりで準備してます。うちも単身赴任なので資格の勉強しててもバレません。