Stanford CS329A (Ép 7) : Évolution Ouverte : ADAS, The AI Scientist et AlphaEvolve — Quand le Code Devient Génome
En 2019, le pionnier de l'informatique Richard Sutton formula l'une des observations les plus profondes et prophétiques de l'histoire de l'intelligence artificielle — La Leçon Amère (The Bitter Lesson) :
« La plus grande leçon que l'on puisse tirer de 70 ans de recherche en IA est que les méthodes générales exploitant massivement le calcul sont en définitive les plus efficaces, et de très loin... Les algorithmes façonnés manuellement par l'humain sont invariablement surpassés par des systèmes qui apprennent, cherchent et évoluent de façon autonome. »
La vision par ordinateur a consacré des décennies à concevoir des extracteurs de caractéristiques manuels (SIFT, HOG), avant d'être balayée du jour au lendemain par les réseaux de neurones convolutifs profonds (CNN). Le traitement du langage naturel a passé des années à formaliser des arbres syntaxiques et des grammaires linguistiques, jusqu'à ce que les transformeurs fondés sur l'attention ne rendent obsolètes toutes les règles manuelles.
Dans cette septième leçon de Stanford CS329A : Self-Improving AI Agents (Agents d'IA Auto-Évolutifs), nous abordons la question la plus radicale de l'ingénierie contemporaine :
« Pourquoi les ingénieurs humains continuent-ils d'écrire à la main chaque ligne des boucles ReAct, des vérificateurs PRM et des heuristiques de recherche arborescente LATS ? Que se passe-t-il lorsque l'on traite du code source Python (Turing-complet) comme de l'ADN biologique, permettant à des méta-agents autonomes de concevoir, d'évaluer et de faire évoluer des architectures d'agents supérieures sans intervention humaine ? »
Cet article explore la frontière des systèmes d'Open-Ended Evolution LLM (Évolution Ouverte des Modèles de Langage) à travers trois percées majeures : Automated Design of Agentic Systems ADAS (Conception Automatisée de Systèmes d'Agents), le cadre d'Autonomous Machine Learning Discovery (Découverte Scientifique Autonome en ML) développé par Sakana AI avec The AI Scientist Sakana, et l'apogée de la Self-Referential Code Evolution (Évolution de Code Autoréférentielle) réalisée par Google DeepMind avec AlphaEvolve.