Stanford CS329A (Ép 9) : La Grande Évolution du Post-Entraînement — Du Chatbot aux Flottes d'Agents Autonomes (SFT, RLHF, RLVR, Agent RL)
Comment des modèles de fondation bruts — essentiellement des perroquets stochastiques prédisant le mot suivant sur le web sans aucune notion de dialogue — sont-ils devenus des assistants polis et, aujourd'hui, des agents autonomes capables de manipuler des terminaux Linux, de manier des outils et de résoudre des problèmes complexes ?
Pour clore en apothéose la Partie 2 : Entraînement et Évolution (Leçons 6 à 9) du cours Stanford CS329A : Self-Improving AI Agents (Agents d'IA Auto-Évolutifs), nous retraçons l'histoire du post-entraînement à travers le regard de Melvin Johnson, chercheur scientifique principal chez Google DeepMind :
« L'histoire du post-entraînement est celle de la transmission progressive de l'autorité de supervision : des mains humaines (démonstrations) aux yeux humains (classement des préférences), puis aux règles de vérification déterministes (compilateurs), pour aboutir enfin aux résultats d'exécution physique dans des bacs à sable réels. »
Cet article détaille l'Autonomous Agent Evolution Roadmap (Feuille de Route de l'Évolution des Agents Autonomes), disséquant la Post-Training LLM Evolution (Évolution du Post-Entraînement), les limites du Supervised Fine-Tuning SFT Agent (Ajustement Supervisé), l'essor et les pièges du RLHF Alignment for Agents (Alignement par Rétroaction Humaine), l'avènement du raisonnement par RLVR (DeepSeek-R1) et la concrétisation du Tool-Grounded Post-Training (Post-Entraînement Ancré sur Outils) via l'Agent RL (WebRL, MiRA).