Un article tagués avec « robust-verification »

Bienvenue dans le troisième volet de notre analyse technique approfondie du cours de cycle supérieur de l'Université de Stanford, CS329A : Self-Improving AI Agents (Automne 2025).

Lors du Cours 2, nous avons exploré la mise à l'échelle du calcul à l'inférence et dégagé un constat implacable : bien que la génération de milliers de trajectoires ($pass@k$) porte la couverture théorique au-delà de 99 %, ce réservoir reste inexploitable sans un vérificateur (Verifier) de haute précision. En appliquant un vote à la majorité naïf, la précision plafonne rapidement.

Aujourd'hui, nous étudions le sous-système architectural qui brise ce verrou : la Vérification Robuste (Robust Verification).

Un mathématicien ou un ingénieur logiciel résout rarement une énigme complexe d'un seul jet linéaire ; il pose une étape, en vérifie la validité algébrique, rectifie une erreur de signe et procède à un retour arrière (backtracking) avant de poursuivre. À l'inverse, les modèles de langage autorégressifs standards projettent leurs jetons exclusivement vers l'avant. Dès qu'un premier dérapage survient, le modèle échafaude des hallucinations de plus en plus sophistiquées pour justifier son erreur initiale.

Comment concevoir des vérificateurs indépendants capables d'auditer les étapes de raisonnement intermédiaires, d'isoler les sophismes et de guider les agents vers des solutions prouvées – sans exiger des millions de dollars d'annotation humaine ?

Des travaux fondateurs de Cobbe et al. (GSM8K, OpenAI, 2021) à la supervision de processus de Lightman et al. (PRM800K, 2023), en passant par les rollouts de Monte-Carlo automatisés de Math-Shepherd (Yu et al., 2023) et le cadre d'ensemble Weaver (NeurIPS 2025), nous allons décortiquer l'état de l'art de l'Ingénierie des Vérificateurs.

flowchart TD
    subgraph Gap ["Le Problème Clé : L'Écart Génération-Vérification"]
        direction TB
        G1["Pass@100 Couverture Oracle : 82.8% (Plafond Théorique)"]
        G2["Succès Réel par Vote à la Majorité : 45.5% (Extraction Réelle)"]
        G1 -.->|"37.3%p d'Intelligence Perdue par Défaut de Sélection"| G2
    end

    subgraph Solutions ["L'Évolution des Vérificateurs en 4 Phases"]
        direction TB
        S1["Modèles de Récompense de Résultat (ORM)<br/>• Score binaire en fin de chaîne (+1 / -1)<br/>• Défaillance de l'Attribution de Crédit (Credit Assignment Failure)"]
        --> S2["Modèles de Récompense de Processus (PRM800K)<br/>• Supervision au niveau du jeton p(step_i)<br/>• Élagage précoce des impasses et règle du produit"]
        --> S3["Math-Shepherd (MCTS Non Supervisé)<br/>• Rollouts de Monte-Carlo automatisés<br/>• Dépasse les PRMs annotés par des humains"]
        --> S4["Ensemble de Vérificateurs Faibles Weaver<br/>• Méthode des Moments (Method of Moments) pour 33 vérificateurs<br/>• Distillation dans un Cross-Encoder 400M (réduction de 99.97% des FLOPs)"]
    end

    Gap ==> Solutions