[Stanford CS146S #2] Arquitectura de LLMs para Código e Ingeniería de Prompts: De Pre-entrenamiento y RLHF al Modelo de Queso Suizo
· 2 min de lectura
Bienvenidos al análisis técnico de la Clase 2 (Semana 1) de Stanford CS146S: El Desarrollador de Software Moderno.
Si en la primera lección definimos la transición del desarrollador de mero mecanógrafo a director de orquesta de agentes autónomos, en esta segunda clase nos sumergimos en el motor fundamental de esta revolución: los Modelos de Lenguaje para Código (Coding LLMs) y la disciplina de Ingeniería de Prompts (Prompt Engineering).
Basado en las lecturas de Andrej Karpathy (Deep Dive into LLMs), OpenAI (How OpenAI Uses Codex) y las guías de Google Cloud y DAIR.AI, analizamos el pipeline de entrenamiento de tres fases, el fenómeno del Modelo de Queso Suizo en la generación de código y la doctrina de "Confía pero Verifica".