旦那が残業と嘘をつく

タイトル通り旦那が仕事と嘘ついて、いつも定時より3、4時間遅く帰ってきます。
過去にも残業と嘘をつきパチンコに行っていたことが何度かあったので、多分そうかなと思いますがもしかしたら女の可能性もあるかもしれません。
今更早く帰ってきてほしいとも思いませんが、私がワンオペで育児をしているのにその間に遊んでいると思うと腹が立ちます。
嘘つきだし他にも理由があって離婚も考えてます。ちなみに本人にはどんな風に聞いても絶対に非を認めません。
こんな場合皆さんならどうしますか？
徹底的に調べて証拠を突き付けるか、まだ子供も小さいし生活に支障はないので今は見て見ぬふりするべきか悩んでます。