ウイルスの量はその人の体力や免疫力でも違います
抗原検査には検出限界がありそれ以下になると陽性反応は示しません
4日目でもそれ以上のウイルスを保持してたら反応すると思います

罹ったことを確実に知りたいのならば抗体検査を受けるしかないんじゃないでしょうか
コロナの場合では無症状だった人でも抗体検査で罹患したことがあるかを判定できると聞いた覚えがあります