まだ早いじゃない…。
うちなんて「早め(10～11時)に帰るよ」って言ってても、夜中３時４時なんて当たり前だよ。
たまに残業って言っても、普段帰るのがそのくらいの時間なら、二人で話し合ったりする時間あるんでしょ？
日頃から、つまらないことでもいいからたくさん話して、お互いの考え方や、信頼関係をしっかり作り上げておかなきゃ、いつまでも「浮気かな？」って疑うことになっちゃうよ。
特に年末に何かあったって言うんなら、なおさらちゃんと話をしなくちゃ。