Un article tagués avec « verifier-prm »

Bienvenue dans le deuxième volet de notre analyse technique approfondie du cours d'élite de l'Université de Stanford, CS329A : Self-Improving AI Agents (Automne 2025).

Lors du cours inaugural, nous avons exposé le changement de paradigme macroéconomique transformant les prédicteurs statiques de prochain jeton en boucles agentiques autonomes fermées sur leur environnement. Aujourd'hui, nous nous attaquons au pilier computationnel indispensable à cette autonomie : la mise à l'échelle du calcul au moment de l'inférence (Test-Time Compute Scaling / Inference-Time Scaling).

Pendant plus d'une demi-décennie, le dogme dominant de l'IA a été dicté par les lois d'échelle du pré-entraînement (Kaplan et al., Chinchilla) : construire des grappes de GPU gigantesques, élargir le volume de paramètres N et absorber des dizaines de milliers de milliards de jetons web. Cependant, une fois les poids θ du modèle gelés, que se passe-t-il si nous refusons une réponse gloutonne (greedy) précipitée en 50 millisecondes ? Que se passe-t-il si un agent consacre 10 secondes, 1 minute ou 10 minutes à explorer délibérément des arbres de raisonnement, à vérifier des étapes intermédiaires et à réviser ses hypothèses ?

À travers les découvertes empiriques de Large Language Monkeys (Brown et al., 2024), l'étude Compute-Optimal Scaling de Snell et al. (Stanford/UC Berkeley, 2024) et le framework d'architecture modulaire Archon, nous formalisons mathématiquement comment l'investissement de FLOPs d'inférence en substitution de la taille des paramètres redéfinit l'intelligence artificielle contemporaine.

flowchart TD
    subgraph PreTrain ["Frontière Classique : Mise à l'Échelle à l'Entraînement"]
        direction TB
        P1["Milliards de Jetons Web (D)"] --> P2["Grappes de GPU Massives (C_train)"]
        P2 --> P3["Modèle Dense Gelé (θ)"]
        P3 --> P4["Passe Avant Gloutonne Unique (Calcul Fixe O(1))"]
    end

    subgraph TestTime ["Frontière CS329A : Mise à l'Échelle à l'Inférence"]
        direction TB
        T1["Poids de Base Gelés (θ)"] --> T2["Allocation Dynamique de FLOPs à l'Inférence"]
        T2 --> T3{"Sélection Adaptative selon la Difficulté"}
        T3 -- "Faible Difficulté (Bin 1-2)" --> T4["Révision Séquentielle (Autocorrection)"]
        T3 -- "Forte Difficulté (Bin 3-5)" --> T5["Recherche Arborescente Guidée par PRM (MCTS / Beam Search)"]
        T4 --> T6["Vérificateur de Modèle de Récompense de Processus (PRM)"]
        T5 --> T6
        T6 --> T7["Solution Finale Vérifiée Mathématiquement et Mécaniquement"]
    end

    PreTrain -.->|"Point d'Inflexion : Saturation des Paramètres"| TestTime