[Stanford CS146S #2] Au cœur des LLMs de code & du Prompt Engineering : Pré-entraînement, RLHF et le modèle du gruyère 'Trust but Verify'
· 3 minutes de lecture
Bienvenue dans le deuxième volet de notre série technique sur le cours Stanford CS146S : The Modern Software Developer.
Dans le premier cours, nous avons défini le rôle de chef d'orchestre d'agents. Dans ce Cours 2 (Semaine 1), le programme explore le moteur fondamental de cette transition : les grands modèles de langage pour le code (Coding LLMs) et la discipline du Prompt Engineering.
En nous appuyant sur les travaux d'Andrej Karpathy (Deep Dive into LLMs), d'OpenAI et de Google Cloud, ce cours dévoile comment les réseaux de neurones acquièrent leur maîtrise du code, pourquoi ils demeurent des simulateurs statistiques et comment appliquer la doctrine « Trust but Verify » face aux vulnérabilités du modèle du gruyère du code généré par IA.