2 publicações com a etiqueta "SWE-bench"

Quando uma equipe de engenharia desenvolve um agente autônomo de programação e o apresenta a executivos ou investidores, afirmar que "ele atingiu 92% no teste MMLU" gera total indiferença. As perguntas práticas que surgem no mundo dos negócios são muito mais exigentes e concretas:

• "Este agente autônomo consegue concluir uma tarefa complexa de várias horas de duração de ponta a ponta sem supervisão humana contínua?"
• "Se um engenheiro sênior leva 8 horas para refatorar um microserviço ou estruturar uma modelagem financeira, o agente entrega qualidade equiparável? E qual é o seu valor econômico líquido em dólares reais?"

Os benchmarks clássicos de múltipla escolha (MMLU, GSM8K, HumanEval) já estão saturados acima de 90% e comprometidos pela contaminação de dados na web. Mais fundamentalmente, acertar uma pergunta de 5 segundos é algo completamente distante de resolver Long-Horizon Agent Tasks que demandam centenas de decisões sequenciais com manutenção de estado ao longo de horas.

Neste encerramento da Parte 3: Engenharia de Agentes (Aulas 10 a 12) de Stanford CS329A: Self-Improving AI Agents, analisamos a ciência contemporânea dos Agent Evaluation Benchmarks — mensurando a inteligência artificial não por porcentagens vazias, mas em unidades físicas de Tempo Humano e Valor Econômico ($):

• Horizonte Temporal Humano (METR, 2025): O horizonte de tempo com 50% de sucesso (h_agent) e a lei empírica de duplicação a cada 7 meses.
• Valor Econômico Real (OpenAI GDPval, 2025): Avaliação de 44 profissões nos 9 setores chave do PIB dos EUA e a equação de custo de revisão humana "Try-n-then-fix".
• Avaliação Acadêmica sem Contaminação (DeepScholar-Bench, 2025): Estrutura tridimensional em 7 métricas e técnicas de despolarização para juízes LLM.

A engenharia de software em ambientes de produção reais praticamente não possui semelhança com quebra-cabeças isolados de programação competitiva ou problemas acadêmicos simplificados. Um relatório de bug real no GitHub nunca chega empacotado com testes unitários prontos; ele está profundamente enraizado em centenas de arquivos, dependências legadas complexas e milhões de linhas de código distribuído. Além disso, softwares em produção não podem ser meramente corretos no aspecto funcional — eles precisam ser velozes, eficientes em memória e perfeitamente ajustados a arquiteturas de hardware paralelo de baixo nível.

Para inaugurar a Parte 3: Engenharia de Agentes (Aulas 10 a 12) de Stanford CS329A: Self-Improving AI Agents, deixamos os clusters de treinamento de modelos fundamentais e entramos diretamente nas trincheiras técnicas do desenvolvimento de software industrial:

"Como agentes autônomos de IA navegam por repositórios com milhões de tokens, isolam bugs de regressão elusivos, sintetizam ambientes de teste reprodutíveis e criam kernels de GPU sob medida que superam baselines manuais do PyTorch?"

Este artigo investiga a fronteira moderna de SWE-Agent Autonomous Coding através de três marcos fundamentais: o CodeMonkeys Automated Refactoring no benchmark SWE-bench Benchmark GitHub, a otimização de desempenho KernelBench GPU Performance Tuning via loops de profiling de hardware, e a arquitetura Agent-Computer Interface ACI (Agent-System Interface, ASI) de Stanford, concebida para eliminar o desalinhamento semântico entre a intenção estratégica do agente e o hardware paralelo físico.