Stanford CS329A (Ep 12): Agent Evaluation & Long Tasks — Horizontes METR, OpenAI GDPval y DeepScholar-Bench
Cuando un equipo de ingeniería desarrolla un agente de programación autónomo y lo presenta a directores ejecutivos o inversores, afirmar que "obtuvo un 92% en el examen MMLU" genera una indiferencia total. Las preguntas que surgen en el mundo empresarial son mucho más concretas e implacables:
- "¿Puede este agente autónomo resolver una tarea compleja de varias horas de duración sin intervención humana continua?"
- "Si un ingeniero sénior tarda 8 horas en implementar una refactorización de código crítica o un análisis financiero, ¿puede el agente entregar una calidad comparable? ¿Y cuál es su valor económico neto en dólares reales?"
Los puntos de referencia tradicionales de opción múltiple (MMLU, GSM8K, HumanEval) están completamente saturados por encima del 90% y comprometidos por la contaminación de datos en la web. Pero, por encima de todo, acertar una pregunta de 5 segundos es radicalmente distinto a resolver Long-Horizon Agent Tasks que exigen cientos de decisiones secuenciales con estado a lo largo de varias horas.
En este cierre de la Parte 3: Ingeniería de Agentes (Lecciones 10 a 12) de Stanford CS329A: Self-Improving AI Agents, profundizamos en la ciencia moderna de los Agent Evaluation Benchmarks — midiendo la inteligencia no mediante porcentajes arbitrarios, sino en unidades físicas de Tiempo Humano y Dólares Económicos ($):
- Escala de Tiempo Humano (METR, 2025): El horizonte de tiempo de éxito al 50% (h_agent) y la ley empírica de duplicación cada 7 meses.
- Valor Económico en el Mundo Real (OpenAI GDPval, 2025): Evaluación de 44 profesiones en los 9 sectores clave del PIB de EE. UU. y la matemática del costo de revisión humana "Try-n-then-fix".
- Evaluación Científica sin Contaminación (DeepScholar-Bench, 2025): Evaluación tridimensional en 7 métricas y eliminación del sesgo posicional en jueces LLM.