Statuts des résultats
La distinction stricte entre PASS, FAIL et ERROR, et pourquoi elle compte.
Un résultat RestorSignal ne se limite jamais à un vague « ça a marché » ou « ça n'a pas marché ». Chaque contrôle individuel reçoit l'un de quatre statuts stricts, définis par le référentiel RS-RVP-01.
PASS
La condition attendue est démontrée.
FAIL
Le contrôle a pu être exécuté correctement et démontre que la condition attendue n'est pas satisfaite. Un FAIL est un résultat net : le test a fonctionné, et il indique que quelque chose ne va pas.
ERROR
Le contrôle n'a pas pu déterminer correctement l'état attendu — par exemple à cause d'un timeout, d'une erreur d'infrastructure de test, d'une dépendance indisponible, d'une exception d'exécution ou d'un environnement incohérent. Une ERROR ne dit rien sur l'état réel de ce qui était contrôlé : elle signale seulement que le test lui-même n'a pas pu conclure.
NOT_APPLICABLE
Le contrôle ne s'applique pas dans le contexte de ce test, et ce statut est explicitement autorisé par le protocole concerné. NOT_APPLICABLE ne peut pas être utilisé pour contourner un contrôle gênant : son usage est encadré par la définition même du protocole.
Du contrôle au niveau
Ces quatre statuts s'appliquent à un contrôle individuel. Un niveau (L1 à L5) regroupe plusieurs contrôles et reçoit lui-même un statut parmi PASS, FAIL, INDETERMINATE, NOT_EVALUATED, selon une règle de remontée stricte :
- un contrôle obligatoire (
required) en PASS contribue positivement au niveau ; - un contrôle obligatoire en FAIL fait passer le niveau entier en FAIL ;
- un contrôle obligatoire en ERROR fait passer le niveau entier en INDETERMINATE ;
- un contrôle obligatoire en NOT_APPLICABLE n'est autorisé que si le protocole le prévoit explicitement.
Un niveau n'est positivement obtenu que si 100 % de ses contrôles obligatoires sont PASS. Une seule ERROR sur un contrôle obligatoire suffit à empêcher l'obtention positive du niveau, même si tous les autres contrôles sont PASS : le résultat devient INDETERMINATE, jamais une réussite partielle présentée comme acquise.
ERROR n'est jamais équivalent à PASS. Un résultat INDETERMINATE ne doit jamais être absorbé dans un résumé global qui donnerait l'impression que tout s'est bien passé. Si RestorSignal n'a pas pu déterminer si un contrôle obligatoire était satisfait, cette incertitude reste visible dans le résultat — elle n'est ni masquée, ni arrondie à un succès.