Ein Post getaggt mit "Time Horizon"

Wenn ein Entwicklungsteam einen autonomen Software-Engineering-Agenten vorstellt und dabei auf „92% im MMLU-Test“ verweist, löst dies in Führungsetagen und bei Investoren oft nur Achselzucken aus. Die geschäftlichen Kernfragen sind ungleich konkreter und anspruchsvoller:

• „Kann dieser autonome Agent eine mehrstündige, hochkomplexe Aufgabe ohne menschliche Intervention selbstständig von A bis Z lösen?“
• „Wenn ein menschlicher Senior-Ingenieur 8 Stunden für ein kritisches Produktions-Refactoring oder eine Finanzmodellierung benötigt, liefert dieser Agent vergleichbare Qualität? Und wie hoch ist sein ökonomischer Nettowert in echtem Geld ($)?“

Klassische akademische Benchmarks (MMLU, GSM8K, HumanEval) sind mit Resultaten jenseits der 90% weitgehend gesättigt und durch Trainingsdaten-Kontamination im Internet kompromittiert. Vor allem ist das Lösen eines 5-sekündigen Multiple-Choice-Rätsels meilenweit entfernt von Long-Horizon Agent Tasks, die Hunderte von aufeinander aufbauenden Entscheidungen über mehrere Stunden erfordern.

Zum feierlichen Abschluss von Teil 3: Agent Engineering (Lektionen 10 bis 12) von Stanford CS329A: Self-Improving AI Agents untersuchen wir die moderne Wissenschaft der Agent Evaluation Benchmarks — die Messung agentischer Intelligenz nicht anhand von Prozentpunkten, sondern in physikalischen Einheiten von menschlicher Arbeitszeit und ökonomischen Dollars ($):

• Menschliche Zeithorizonte (METR, 2025): Der 50%-Erfolgs-Zeithorizont (h_agent) und das empirische 7-Monate-Verdopplungsgesetz.
• Ökonomischer Realwert (OpenAI GDPval, 2025): Evaluation von 44 Berufen in den 9 Kernsektoren des US-BIP und die strenge Mathematik der „Try-n-then-fix“-Prüfkosten.
• Kontaminationsfreie akademische Forschungsevaluation (DeepScholar-Bench, 2025): 3-dimensionales 7-Metriken-System und Verfahren zur Beseitigung von Positionsverzerrungen bei LLM-Judges.