Stanford CS329A (Ep 9): A Grande Evolução do Pós-Treinamento — De Chatbots a Frotas de Agentes Autônomos (SFT, RLHF, RLVR, Agent RL)
Como modelos de fundação brutos — essencialmente papagaios probabilísticos que apenas previam o próximo token na web sem qualquer aptidão para o diálogo — transformaram-se em assistentes de conversa refinados e, atualmente, em agentes autônomos capazes de operar terminais Linux, manejar ferramentas e solucionar problemas em ambientes corporativos complexos?
Neste desfecho marcante da Parte 2: Treinamento e Evolução (Aulas 6 a 9) do curso Stanford CS329A: Self-Improving AI Agents (Agentes de IA Autoevolutivos), traçamos o panorama histórico do pós-treinamento moderno sob a ótica de Melvin Johnson, cientista sênior de pesquisa do Google DeepMind:
"A história do pós-treinamento é a transferência paulatina da soberania de supervisão: das mãos humanas (demonstrações) para os olhos humanos (classificações de preferência), em seguida para os verificadores de regras determinísticas e, finalmente, para o resultado real da execução em ambientes computacionais autônomos."
Este artigo apresenta a Autonomous Agent Evolution Roadmap (Estrutura de Evolução de Agentes Autônomos), dissecando a Post-Training LLM Evolution (Evolução do Pós-Treinamento em LLMs), o teto das abordagens baseadas em Supervised Fine-Tuning SFT Agent (Ajuste Fino Supervisionado), as vitórias e as armadilhas de Goodhart no RLHF Alignment for Agents (Alinhamento por Feedback Humano), a eclosão do raciocínio com RLVR (DeepSeek-R1) e o advento do Tool-Grounded Post-Training (Pós-Treinamento Baseado em Ferramentas) por meio do Agent RL (WebRL, MiRA).