Un article tagués avec « METR »

Lorsqu'une équipe d'ingénierie développe un agent de codage autonome et le présente à des dirigeants d'entreprise ou des investisseurs, annoncer « 92 % de score au test MMLU » ne suscite qu'une totale indifférence. Les questions industrielles sont infiniment plus pragmatiques :

• « Cet agent autonome peut-il mener à bien une mission complexe de plusieurs heures sans intervention humaine ? »
• « Si un ingénieur senior met 8 heures à concevoir un modèle financier ou refactoriser un microservice, l'agent peut-il délivrer une qualité comparable ? Et quelle est sa valeur économique nette en dollars réels ($) ? »

Les bancs d'essai traditionnels à choix multiples (MMLU, GSM8K, HumanEval) sont largement saturés au-delà de 90 % et corrompus par la contamination des données du Web. Surtout, réussir un quiz de 5 secondes n'a aucun rapport avec l'exécution de Long-Horizon Agent Tasks exigeant des centaines d'actions interdépendantes avec maintien d'état sur plusieurs heures.

Pour clore en apothéose la Partie 3 : Ingénierie des Agents (Leçons 10 à 12) de Stanford CS329A : Self-Improving AI Agents, nous analysons la science moderne des Agent Evaluation Benchmarks — mesurant l'intelligence agentique non par de vagues pourcentages, mais en unités physiques de Temps Humain et de Valeur Économique ($) :

• Horizon Temporel Humain (METR, 2025) : L'horizon de temps à 50 % de succès (h_agent) et la loi empirique de doublement tous les 7 mois.
• Valeur Économique Réelle (OpenAI GDPval, 2025) : Évaluation de 44 métiers à haute valeur ajoutée et équation rigoureuse du coût de révision humaine « Try-n-then-fix ».
• Évaluation Académique sans Contamination (DeepScholar-Bench, 2025) : 3 dimensions, 7 métriques en continu et neutralisation du biais de position chez les juges LLM.