浮気相手に使う可能性より、使用期限あるから捨てた可能性が高いと思いますよ。
私が主さんの立場だったら、全然帰ってこないとか連絡も少ないなら疑うし、好きな気持ちが薄れてたら白黒つけたいので証拠を掴んでハッキリさせます。でも、３時間かけてちょくちょく帰ってきてくれたり、連絡もマメにしてくれて、好きな気持ちがあるなら黙ってます。
旦那さんの立場だったら、証拠もなく疑われてるような態度取られたら居心地悪いと感じて帰ろうという気持ちがなくなる。
モヤモヤするのは分かりますが、スマホを見たりするような証拠探しは離婚覚悟ですべきだと思いますよ。