Stanford CS329A (Ep 9): La Gran Evolución del Post-Entrenamiento — De Chatbots a Flotas de Agentes Autónomos (SFT, RLHF, RLVR, Agent RL)
¿Cómo pasaron los modelos fundacionales no alineados —básicamente predictores probabilísticos del siguiente token incapaces de mantener una conversación coherente— a convertirse en educados asistentes de diálogo y, hoy en día, en agentes autónomos capaces de utilizar herramientas, operar terminales Linux y resolver problemas en entornos dinámicos?
En esta gran conclusión de la Parte 2: Entrenamiento y Evolución (Lecciones 6 a 9) de Stanford CS329A: Self-Improving AI Agents (Agentes de IA Autoevolutivos), sintetizamos la historia moderna de la inteligencia artificial bajo la perspectiva de Melvin Johnson, científico investigador senior en Google DeepMind:
"La historia del post-entrenamiento es la transferencia progresiva de la autoridad de supervisión: de las manos humanas (demostraciones) a los ojos humanos (clasificación de preferencias), luego a verificadores deterministas de reglas y, finalmente, a los resultados de ejecución en entornos físicos reales."
En este artículo presentamos la Autonomous Agent Evolution Roadmap (Hoja de Ruta de Evolución de Agentes Autónomos), analizando la Post-Training LLM Evolution (Evolución del Post-Entrenamiento en LLMs), las limitaciones de las líneas base de Supervised Fine-Tuning SFT Agent (Ajuste Fino Supervisado), los logros y la paradoja de Goodhart en RLHF Alignment for Agents (Alineación por Retroalimentación Humana), el auge del razonamiento con RLVR (DeepSeek-R1) y la consolidación del Tool-Grounded Post-Training (Post-Entrenamiento Basado en Herramientas) mediante Agent RL (WebRL, MiRA).