結婚して子供いて好きな人が出来るのは別に仕方ないよ。
旦那より良い部分しか見えてない相手に好意を抱くのもありあり。
気持ちが冷めても夫婦、家族でいる人も多いと思うよ。
ときめく気持ちは解るけど離婚してその彼と上手くいく可能性は限りなく低いのかなって思う。

あと気になるのが『家を建てたら離婚できなくなるけどいいの？と聞かれました。』
随分上から目線で物言う旦那さんだね。