2 Posts getaggt mit "SWE-bench"

Wenn ein Entwicklungsteam einen autonomen Software-Engineering-Agenten vorstellt und dabei auf „92% im MMLU-Test“ verweist, löst dies in Führungsetagen und bei Investoren oft nur Achselzucken aus. Die geschäftlichen Kernfragen sind ungleich konkreter und anspruchsvoller:

• „Kann dieser autonome Agent eine mehrstündige, hochkomplexe Aufgabe ohne menschliche Intervention selbstständig von A bis Z lösen?“
• „Wenn ein menschlicher Senior-Ingenieur 8 Stunden für ein kritisches Produktions-Refactoring oder eine Finanzmodellierung benötigt, liefert dieser Agent vergleichbare Qualität? Und wie hoch ist sein ökonomischer Nettowert in echtem Geld ($)?“

Klassische akademische Benchmarks (MMLU, GSM8K, HumanEval) sind mit Resultaten jenseits der 90% weitgehend gesättigt und durch Trainingsdaten-Kontamination im Internet kompromittiert. Vor allem ist das Lösen eines 5-sekündigen Multiple-Choice-Rätsels meilenweit entfernt von Long-Horizon Agent Tasks, die Hunderte von aufeinander aufbauenden Entscheidungen über mehrere Stunden erfordern.

Zum feierlichen Abschluss von Teil 3: Agent Engineering (Lektionen 10 bis 12) von Stanford CS329A: Self-Improving AI Agents untersuchen wir die moderne Wissenschaft der Agent Evaluation Benchmarks — die Messung agentischer Intelligenz nicht anhand von Prozentpunkten, sondern in physikalischen Einheiten von menschlicher Arbeitszeit und ökonomischen Dollars ($):

• Menschliche Zeithorizonte (METR, 2025): Der 50%-Erfolgs-Zeithorizont (h_agent) und das empirische 7-Monate-Verdopplungsgesetz.
• Ökonomischer Realwert (OpenAI GDPval, 2025): Evaluation von 44 Berufen in den 9 Kernsektoren des US-BIP und die strenge Mathematik der „Try-n-then-fix“-Prüfkosten.
• Kontaminationsfreie akademische Forschungsevaluation (DeepScholar-Bench, 2025): 3-dimensionales 7-Metriken-System und Verfahren zur Beseitigung von Positionsverzerrungen bei LLM-Judges.

Reale Softwareentwicklung in Produktionsumgebungen hat praktisch keine Ähnlichkeit mit isolierten Programmierwettbewerben oder akademischen Spielzeugproblemen. Ein realer GitHub-Fehlerbericht wird nicht fein säuberlich mit vordefinierten Unit-Tests geliefert; er ist über hunderte von Dateien, veraltete Abhängigkeiten und Millionen von Zeilen verteilten Produktionscodes verstreut. Darüber hinaus darf Software in der Praxis nicht nur funktional korrekt sein — sie muss recheneffizient, speicherschonend und optimal auf parallele Low-Level-Hardwarearchitekturen abgestimmt sein.

Zum Auftakt von Teil 3: Agent Engineering (Lektionen 10 bis 12) von Stanford CS329A: Self-Improving AI Agents verlassen wir die grundlegenden Modell-Trainingscluster und steigen tief in die technische Praxis der industriellen Softwareentwicklung ein:

"Wie navigieren autonome KI-Agenten durch Repositories mit mehreren Millionen Token, isolieren schwer fassbare Regressionsfehler, erstellen reproduzierbare Testumgebungen und schreiben benutzerdefinierte GPU-Kernel, die von Menschen optimierte PyTorch-Baselines übertreffen?"

Dieser Beitrag untersucht die moderne Grenze des SWE-Agent Autonomous Coding anhand von drei bahnbrechenden Durchbrüchen: CodeMonkeys Automated Refactoring auf dem SWE-bench Benchmark GitHub, KernelBench GPU Performance Tuning mittels Hardware-Profiler-Schleifen und Stanfords Agent-Computer Interface ACI (Agent-System Interface, ASI), das entwickelt wurde, um semantische Diskrepanzen zwischen übergeordneten Agentenabsichten und physischer Parallel-Hardware aufzulösen.