「Agent Evaluation」タグの記事が1件件あります

エンジニアリングチームが自律コーディングエージェントを開発し経営陣や投資家に報告する際、「MMLUテストで92点を獲得しました」と説明してもビジネスの実態には響きません。現場から突きつけられる問いは極めて現実的で冷徹です：

• 「この自律エージェントは、人間の介入なしに数時間に及ぶ複雑な業務を最後までやり切れますか？」
• 「人間のシニアエンジニアが8時間かけて行うリファクタリングや財務分析レポートを、このエージェントは同等品質で代替できますか？ その経済的純価値は一体何ドルですか？」

従来の選択式ベンチマーク（MMLU, GSM8K, HumanEval）は軒並み90%を超えて飽和（Saturation）し、Webクローリングによるデータ汚染（Contamination）によって単なる丸暗記テストへと形骸化しました。何より、5秒で解ける4択クイズと、**数時間で数百ステップに及ぶ状態変化を伴う意思決定を継続する長距離課題（Long-Horizon Agent Tasks）**とは全くの別物です。

Stanford CS329A: Self-Improving AI AgentsのPart 3: エージェントエンジニアリング（Agent Engineering）の最終講となる今回のLecture 12では、Agent Evaluation Benchmarks — AIの知能を無意味なパーセンテージではなく、**人間の時間（Human Time）と経済価値のドル（$）**という現実の物理尺度で測定する3大革新フレームワークを徹底解剖します：

• 人間の時間尺度知能 (METR, 2025): 50%成功率の時間地平線（h_agent）と7ヶ月周期の倍加の法則。
• 実戦的経済価値評価 (OpenAI GDPval, 2025): 米国GDP 9大産業44の専門職ブラインド評価と「修正コスト（Try-n-then-fix）」の経済学。
• 汚染のないリアルタイム学術リサーチ評価 (DeepScholar-Bench, 2025): 3次元7大指標とLLMジャッジの位置バイアス相殺技術。