Stanford CS329A (第12講): Agent Evaluation & Long Tasks — METR時間地平線, OpenAI GDPval與DeepScholar-Bench
· 閱讀時間約 14 分鐘
當工程團隊構建出一套自主程式設計智慧體向企業管理層或投資人匯報時，單方面宣稱「該模型在MMLU選擇題中取得了92分」往往得不到實質性的商業共鳴。現實商業戰場拋出的質詢遠比選擇題冷酷而具體：
- 「這個自主智慧體在沒有人類介入糾錯的前提下，究竟能否獨立搞定需要耗時數小時的端到端複雜工程任務？」
- 「人類資深工程師需要花費8小時完成的底層微服務重構或深度財務估值模型，這個智慧體能否給出媲美人類的品質？其帶來的淨經濟價值究竟是多少美元？」
傳統的靜態客觀題基準（MMLU, GSM8K, HumanEval）早已普遍超過90分而步入飽和（Saturation），並因網際網路訓練數據污染（Contamination）淪為死記硬背的作秀。更本質的是，回答耗時5秒的單選題，與在數小時內連續執行數百步具備狀態依賴的決策——即長程智慧體任務 (Long-Horizon Agent Tasks)——存在著維度上的根本鴻溝。
作為Stanford CS329A: Self-Improving AI Agents的第三部分：智慧體工程（Part 3: Agent Engineering）的大結局，本講深入探討現代Agent Evaluation Benchmarks（智慧體評估基準）的核心前沿——不再以虛浮的百分比論英雄，而是以**人類時間 (Human Time)和經濟美元 ($)**作為衡量智慧的物理基準：
- 人類時間地平線標定 (METR, 2025): 50%成功率時間地平線 (h_agent) 與每7個月翻番定律。
- 真實經濟價值量化 (OpenAI GDPval, 2025): 覆蓋美國GDP 9大產業44個數位職位的雙盲評測與「試錯修復（Try-n-then-fix）」時間成本經濟學。
- 杜絕數據污染的即時學術研究評測 (DeepScholar-Bench, 2025): 3維度7指標體系與LLM裁判（Judge）的位置偏見消除演算法。