Uma publicação com a etiqueta "LLM Judge"

Quando uma equipe de engenharia desenvolve um agente autônomo de programação e o apresenta a executivos ou investidores, afirmar que "ele atingiu 92% no teste MMLU" gera total indiferença. As perguntas práticas que surgem no mundo dos negócios são muito mais exigentes e concretas:

• "Este agente autônomo consegue concluir uma tarefa complexa de várias horas de duração de ponta a ponta sem supervisão humana contínua?"
• "Se um engenheiro sênior leva 8 horas para refatorar um microserviço ou estruturar uma modelagem financeira, o agente entrega qualidade equiparável? E qual é o seu valor econômico líquido em dólares reais?"

Os benchmarks clássicos de múltipla escolha (MMLU, GSM8K, HumanEval) já estão saturados acima de 90% e comprometidos pela contaminação de dados na web. Mais fundamentalmente, acertar uma pergunta de 5 segundos é algo completamente distante de resolver Long-Horizon Agent Tasks que demandam centenas de decisões sequenciais com manutenção de estado ao longo de horas.

Neste encerramento da Parte 3: Engenharia de Agentes (Aulas 10 a 12) de Stanford CS329A: Self-Improving AI Agents, analisamos a ciência contemporânea dos Agent Evaluation Benchmarks — mensurando a inteligência artificial não por porcentagens vazias, mas em unidades físicas de Tempo Humano e Valor Econômico ($):

• Horizonte Temporal Humano (METR, 2025): O horizonte de tempo com 50% de sucesso (h_agent) e a lei empírica de duplicação a cada 7 meses.
• Valor Econômico Real (OpenAI GDPval, 2025): Avaliação de 44 profissões nos 9 setores chave do PIB dos EUA e a equação de custo de revisão humana "Try-n-then-fix".
• Avaliação Acadêmica sem Contaminação (DeepScholar-Bench, 2025): Estrutura tridimensional em 7 métricas e técnicas de despolarização para juízes LLM.