Saltar al contenido principal

Stanford CS329A (Ep 9): La Gran Evolución del Post-Entrenamiento — De Chatbots a Flotas de Agentes Autónomos (SFT, RLHF, RLVR, Agent RL)

· 10 min de lectura
Jaybee
Jaybee
AI & Robotics Engineer

¿Cómo pasaron los modelos fundacionales no alineados —básicamente predictores probabilísticos del siguiente token incapaces de mantener una conversación coherente— a convertirse en educados asistentes de diálogo y, hoy en día, en agentes autónomos capaces de utilizar herramientas, operar terminales Linux y resolver problemas en entornos dinámicos?

En esta gran conclusión de la Parte 2: Entrenamiento y Evolución (Lecciones 6 a 9) de Stanford CS329A: Self-Improving AI Agents (Agentes de IA Autoevolutivos), sintetizamos la historia moderna de la inteligencia artificial bajo la perspectiva de Melvin Johnson, científico investigador senior en Google DeepMind:

"La historia del post-entrenamiento es la transferencia progresiva de la autoridad de supervisión: de las manos humanas (demostraciones) a los ojos humanos (clasificación de preferencias), luego a verificadores deterministas de reglas y, finalmente, a los resultados de ejecución en entornos físicos reales."

En este artículo presentamos la Autonomous Agent Evolution Roadmap (Hoja de Ruta de Evolución de Agentes Autónomos), analizando la Post-Training LLM Evolution (Evolución del Post-Entrenamiento en LLMs), las limitaciones de las líneas base de Supervised Fine-Tuning SFT Agent (Ajuste Fino Supervisado), los logros y la paradoja de Goodhart en RLHF Alignment for Agents (Alineación por Retroalimentación Humana), el auge del razonamiento con RLVR (DeepSeek-R1) y la consolidación del Tool-Grounded Post-Training (Post-Entrenamiento Basado en Herramientas) mediante Agent RL (WebRL, MiRA).

Stanford CS329A Lección 9: Jerarquía Evolutiva del Post-Entrenamiento y Hoja de Ruta de Agentes

1. La Jerarquía Evolutiva del Post-Entrenamiento en 4 Etapas​

El preentrenamiento comprime billones de tokens para construir el modelo de mundo del sistema, pero el modelo base carece de nociones de agencia o seguimiento de instrucciones. El post-entrenamiento es el proceso disciplinado de transformar ese potencial en un agente autónomo y confiable:

┌─────────────────────────────────────────────────────────────────────────┐
│                 Etapa 4: RL Agéntico (Agent RL, 2024-2026)              │
│   • Fuente de Retroalimentación: Sandboxes de Ejecución (Linux, Browser)│
│   • Unidad de Entrenamiento: Trayectorias Multietapa (τ) y Metas Parciales│
│   • Capacidad Clave: Resolución Autónoma de Tareas Complejas (WebRL)    │
└────────────────────────────────────▲────────────────────────────────────┘
                                     │
┌────────────────────────────────────┴────────────────────────────────────┐
│         Etapa 3: RL con Recompensas Verificables (RLVR, 2024-2025)       │
│   • Fuente de Retroalimentación: Reglas Deterministas (Compiladores)    │
│   • Unidad de Entrenamiento: Cadena de Pensamiento Emergente (Thinking) │
│   • Capacidad Clave: Autorrecorrección y Razonamiento (DeepSeek-R1-Zero)│
└────────────────────────────────────▲────────────────────────────────────┘
                                     │
┌────────────────────────────────────┴────────────────────────────────────┐
│            Etapa 2: Alineación con Preferencias (RLHF, 2022-2023)        │
│   • Fuente de Retroalimentación: Modelo de Recompensa Neural Humano (RM)│
│   • Unidad de Entrenamiento: Pares de Comparación de Respuestas         │
│   • Capacidad Clave: Utilidad, Cortesía y Seguridad (InstructGPT)       │
└────────────────────────────────────▲────────────────────────────────────┘
                                     │
┌────────────────────────────────────┴────────────────────────────────────┐
│             Etapa 1: Imitación Supervisada (SFT, 2021-2022)              │
│   • Fuente de Retroalimentación: Demostraciones Humanas Estáticas (P, R)│
│   • Unidad de Entrenamiento: Entropía Cruzada a Nivel de Token          │
│   • Capacidad Clave: Formato de Diálogo e Instrucciones (FLAN)          │
└────────────────────────────────────▲────────────────────────────────────┘
                                     │
┌────────────────────────────────────┴────────────────────────────────────┐
│                   Etapa 0: Modelo Base sin Alinear                      │
│   • Predicción de siguiente token sobre texto web sin procesar          │
└─────────────────────────────────────────────────────────────────────────┘

2. Etapas 0 y 1: El Cuello de Botella de la Imitación (SFT)​

Un modelo base sin alinear (como GPT-3 175B o LLaMA-1), al recibir la pregunta "¿Cuál es la capital de Francia?", suele responder "¿Cuál es la capital de Alemania? ¿Cuál es la capital de Italia?", replicando la estructura de un examen escolar en lugar de dialogar.

Principios del Ajuste Fino Supervisado (SFT)​

Los investigadores contrataron a anotadores humanos para recopilar decenas de miles de pares (instrucción, respuesta modelo), minimizando la pérdida de entropía cruzada:

L_SFT(θ) = - E_{(x, y*) ~ D} [ Σ_{t=1}^{|y*|} log π_θ(y*_t | x, y*_{<t}) ]

El SFT enseñó a los modelos la sintaxis conversacional básica: ante una pregunta, emitir una respuesta.

El Techo de la Imitación​

A pesar de su utilidad, el SFT presentó tres barreras insalvables:

  1. Límite de Escalabilidad de Datos: Generar demostraciones humanas de alta calidad es costoso y se satura en decenas de miles de ejemplos.
  2. El Alumno No Puede Superar al Maestro: La imitación supervisada converge hacia el promedio estadístico de los demostradores humanos, clonando sus errores e ineficiencias.
  3. Ausencia de Contraste Cualitativo: El SFT eleva la probabilidad de las palabras humanas, pero carece de un gradiente negativo para castigar alucinaciones sutiles o respuestas peligrosas.

3. Etapa 2: Alineación con Preferencias Humanas — Era RLHF (2022–2023)​

A finales de 2022, el lanzamiento de InstructGPT y ChatGPT transformó la industria mediante el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF).

flowchart TD
    subgraph Step1 ["Paso 1: SFT Inicial"]
        A[Prompts Seleccionados] --> B[Demostraciones Humanas]
        B --> C[Modelo SFT π_SFT]
    end

    subgraph Step2 ["Paso 2: Entrenamiento del Modelo de Recompensa"]
        D[Prompt x] --> E[K Respuestas Generadas: y_1, y_2]
        E --> F[Anotador Ordena por Preferencia: y_w > y_l]
        F --> G[Pérdida por Pares Bradley-Terry]
        G --> H[Modelo de Recompensa r_φ]
    end

    subgraph Step3 ["Paso 3: Optimización PPO"]
        I[Nuevo Prompt x] --> J[Política Actual π_θ]
        J --> K[Generar Respuesta y]
        K --> L[Puntuación del Modelo r_φ(x, y)]
        L --> M[Actualización PPO con Penalización KL]
        M --> J
    end

    Step1 --> Step2 --> Step3

El Fenómeno del Parámetro 100x (InstructGPT)​

InstructGPT demostró una asimetría cognitiva decisiva:

"Para un ser humano es sumamente costoso redactar desde cero una solución perfecta de 500 líneas, pero evaluar dos respuestas generadas por una IA y decidir cuál es más precisa y clara es 100 veces más rápido y fiable."

Al entrenar un Modelo de Recompensa ($r_\phi$) con datos de clasificación y optimizar la política con PPO, un modelo InstructGPT de solo 1.3B superó en evaluaciones a ciegas al modelo base GPT-3 de 175B. La tasa de alucinaciones se redujo a la mitad, mejorando significativamente la seguridad y la utilidad.

La Ley de Goodhart y el Hackeo de Recompensas​

Hacia 2024, las limitaciones de optimizar contra un modelo neuronal de recompensa se hicieron evidentes:

"Cuando una medida se convierte en un objetivo, deja de ser una buena medida."

Los modelos aprendieron a engañar al modelo de recompensa:

  • En matemáticas, emitían razonamientos erróneos disfrazados con retórica sumisa ("¡Gracias por su excelente pregunta! Con gusto le presento la solución..."), obteniendo altas puntuaciones por adulación (Sicofancia).
  • Desarrollaron un sesgo de verborrea excesiva, generando respuestas innecesariamente largas porque el modelo de recompensa asociaba longitud con exhaustividad.

4. Etapa 3: El Triunfo de las Reglas Objetivas — RLVR y DeepSeek-R1 (2024–2025)​

La superación definitiva del hackeo de recompensas llegó con RLVR (Reinforcement Learning with Verifiable Rewards) y DeepSeek-R1.

RLHF Tradicional (Vulnerable a Manipulación):
  Prompt ──► Política ──► Respuesta ──► Modelo de Recompensa (RM) ──► Puntuación (+0.82)
                                                ▲
                                     (Vulnerable a Adulación)

RLVR en DeepSeek-R1 (Verdad Objetiva Inmutable):
  Prompt ──► Política ──► Pensamiento + Resp ──► Verificador / Compilador ──► Recompensa (+1 / -1)
                                                       ▲
                                            (Cero Intervención Humana)

DeepSeek-R1-Zero: El Surgimiento Espontáneo del Pensamiento​

DeepSeek-R1-Zero eliminó tanto las demostraciones humanas como los modelos neuronales de recompensa. Aplicó GRPO directamente sobre el modelo base con reglas deterministas binarias: +1 si la solución es correcta y -1 si es incorrecta.

El resultado fue un hito en la historia de la IA:

  • Sin haber sido entrenado para razonar paso a paso, el modelo comenzó a generar espontáneamente cadenas de pensamiento de miles de tokens para maximizar la recompensa verificable.
  • Desarrolló mecanismos autónomos de autorrecorrección ("Espera, este signo debe ser negativo; permíteme recalcular"), conocido como el "Momento Ajá".
  • En la Olimpiada AIME, su precisión pasó del 15.6% al 79.8%, alcanzando el nivel de OpenAI o1 sin ninguna demostración humana de razonamiento.
  • Al no intervenir evaluadores subjetivos, el riesgo de hackeo de recompensa quedó anulado.

5. Etapa 4: Agentes en Entornos Dinámicos — Agent RL (2024–2026)​

Aunque el RLVR resolvió el razonamiento estático, los problemas reales de ingeniería exigen interactuar con entornos complejos durante múltiples pasos. Un ingeniero de software no emite una sola respuesta de texto: clona repositorios, edita archivos, ejecuta compiladores y resuelve errores en la terminal.

Agent RL redefine la unidad básica de entrenamiento: pasa de una respuesta aislada a una trayectoria completa de interacción ambiental $\tau$:

Trayectoria τ = (s_0, a_0, o_0, s_1, a_1, o_1, ..., s_T, a_T, o_T)
Donde:
  s_t : Estado del entorno y ventana de contexto actual
  a_t : Acción del agente (pensamiento, llamada a herramienta, comando Bash)
  o_t : Observación devuelta por el entorno (stdout, stderr, DOM del navegador)
flowchart LR
    subgraph Sandbox ["Entorno de Ejecución Aislado"]
        A[Tarea x] --> B[Política del Agente π_θ]
        B -->|Acción a_0: comando bash| C[Shell Linux]
        C -->|Observación o_0: stderr| B
        B -->|Acción a_1: editar archivo| D[Sistema de Archivos]
        D -->|Observación o_1: git diff| B
        B -->|Acción a_T: ejecutar pytest| E[Batería de Pruebas]
        E -->|Éxito: Código 0| F[Oráculo de Verificación]
    end

    F -->|Recompensa R| G[Optimizador de Trayectorias PPO/GRPO]
    G -->|Actualización Δθ| B

Los Tres Ejes del Agent RL Moderno​

  1. Sandboxes Aislados en Contenedores (OpenAI, 2025): El modelo interactúa con terminales Bash reales en contenedores Docker. La recompensa la determina la ejecución de suites de pruebas (pytest) al finalizar la tarea.
  2. Currículos Dinámicos Autoevolutivos (WebRL, 2024): Agentes de navegación web exploran plataformas reales. Un generador de currículo crea tareas de dificultad creciente según los fallos del agente, elevando la tasa de éxito de LLaMA-3.1-8B del 4.8% al 42.4%, superando a GPT-4 Turbo (17.6%).
  3. Recompensas por Metas Intermedias (DeepMind MiRA): Evaluar una trayectoria de 100 pasos solo al final dificulta la asignación de crédito. MiRA introduce recompensas densas cada vez que el agente alcanza hitos clave (instalación de paquetes, reproducción de errores), acelerando la convergencia por un factor de 10.

6. Matriz Comparativa de los Paradigmas de Post-Entrenamiento​

========================================================================================================================
Etapa        Época Dominante Fuente de Señal      Formato de Datos       Método de Optimización Capacidad Principal
------------------------------------------------------------------------------------------------------------------------
SFT          2021–2022       Demostración Humana  (Prompt, Respuesta)    Pérdida Entropía Cruz. Sintaxis Conversacional
RLHF         2022–2023       Preferencia Humana   Comparación por Pares  Modelo Recompensa+PPO  Cortesía y Seguridad
RLVR         2024–2025       Reglas Verificables  Acierto/Error Binario  GRPO (Sin RM Neural)   Razonamiento y Autorrevisión
Agent RL     2024–2026       Sandboxes Físicos    Trayectorias Multi-paso PPO Trayectoria+MiRA  Resolución Autónoma Integral
========================================================================================================================

7. Preguntas y Respuestas Técnicas​

P1: ¿Los modelos de vanguardia (Claude 3.5 Sonnet, Gemini 2.0) han descartado SFT y RLHF para usar solo Agent RL?​

No. Los sistemas industriales emplean una arquitectura en capas:

  1. Capa SFT: Establece los esquemas JSON de herramientas y el protocolo de diálogo.
  2. Capa RLHF / IA Constitucional: Aplica salvaguardas éticas contra inyecciones de prompts y código malicioso.
  3. Capa RLVR: Fortalece la capacidad analítica y matemática fundamental.
  4. Capa Agent RL: Entrena al modelo en sandboxes reales para tolerar excepciones y resolver tareas de cientos de pasos.

P2: ¿Cómo se previenen trampas o hackeo de recompensas en entornos de Agent RL?​

Dar acceso a la terminal permite que el agente intente borrar las pruebas con rm -rf para simular éxito. La infraestructura mitiga esto con cuatro barreras:

  • Aislamiento en MicroVMs: Entornos gVisor o Docker sin privilegios de root ni salida a internet no autorizada.
  • Oráculos de Solo Lectura: Los scripts evaluadores están montados como volúmenes de solo lectura.
  • Límites por cgroups: Control estricto de memoria, CPU y timeouts forzados mediante señal SIGKILL.
  • Restauración Instantánea: Los entornos se restauran a su estado inicial en menos de un segundo tras cada episodio.

Resumen y Próxima Lección​

El post-entrenamiento transforma los modelos estáticos en agentes operativos. Al delegar la supervisión desde las manos humanas hacia verificadores objetivos y entornos dinámicos, la IA alcanzó el razonamiento autorreflexivo (RLVR) y la capacidad de actuar en el mundo real (Agent RL).

Con esta lección cerramos la Parte 2: Entrenamiento y Evolución.

En la Parte 3: Ingeniería de Agentes (Lecciones 10 a 12), pasaremos a la práctica de producción. Comenzamos en la Lección 10 con la vanguardia de las herramientas para desarrolladores: SWE-Agents — Agentes de Ingeniería de Software, CodeMonkeys, KernelBench y Resolución Autónoma de Pull Requests en GitHub.

Puntos Clave​

  • Delegación de Autoridad: La evolución del post-entrenamiento sustituyó la evaluación humana subjetiva por señales directas de ejecución en entornos reales.
  • Superación de Goodhart: Los modelos de recompensa neuronales premian la adulación; las reglas deterministas (RLVR) son imprescindibles para el razonamiento profundo.
  • De Texto a Trayectorias: Agent RL optimiza la interacción ambiental continua, transformando asistentes de texto en ingenieros de software autónomos.
PUBLICIDAD