Stanford CS329A (Ép 13) : LLM Reasoning — Denny Zhou, Chain-of-Thought (CoT), Self-Consistency et capacités émergentes
Pendant des décennies, les chercheurs en intelligence artificielle ont entretenu un scepticisme tenace à l'égard des réseaux de neurones connexionnistes :
« Un grand modèle de langage autorégressif n'est rien d'autre qu'un perroquet stochastique (Stochastic Parrot) qui enchaîne des mots statistiquement plausibles. Face à des problèmes arithmétiques à plusieurs étapes, de logique formelle ou de déductions causales, il produit des hallucinations séduisantes mais reste incapable de véritable raisonnement déductif. »
De fait, les premiers modèles de pointe échouaient lourdement face à des énoncés mathématiques élémentaires, produisant d'emblée des résultats erronés faute de pouvoir décomposer leur réflexion.
En ouvrant la quatrième et ultime partie de notre cursus — Part 4 : Les Frontières (Leçons 13 à 17) de Stanford CS329A : Self-Improving AI Agents —, nous gravissons le sommet intellectuel de l'IA : les LLM Reasoning Foundations. Guidés par les travaux pionniers du Dr Denny Zhou (Directeur de la recherche sur le raisonnement chez Google DeepMind), nous explorons la genèse de l'étincelle cognitive au sein des modèles neuronaux :
- Chaîne de pensée (Chain of Thought CoT Prompting, NeurIPS 2022) : Comment la simple verbalisation des étapes logiques a propulsé l'exactitude mathématique de PaLM 540B de 18 % à 57 % sans modifier le moindre poids.
- Décodage par auto-cohérence (Self-Consistency Decoding LLM, ICLR 2023) : Fondé sur le principe tolstoïen d'Anna Karénine — « Les raisonnements rigoureux convergent vers une vérité unique, tandis que les erreurs dérivent vers le chaos » — éliminant le bruit stochastique par vote majoritaire.
- Capacités cognitives émergentes (Emergent Cognitive Abilities AI, 2022) : Les transitions de phase en physique (« More is Different ») et le grand débat épistémologique : l'émergence est-elle une réalité physique ou un mirage issu de métriques non linéaires ?