「SWE-bench」タグの記事が2件件あります

エンジニアリングチームが自律コーディングエージェントを開発し経営陣や投資家に報告する際、「MMLUテストで92点を獲得しました」と説明してもビジネスの実態には響きません。現場から突きつけられる問いは極めて現実的で冷徹です：

• 「この自律エージェントは、人間の介入なしに数時間に及ぶ複雑な業務を最後までやり切れますか？」
• 「人間のシニアエンジニアが8時間かけて行うリファクタリングや財務分析レポートを、このエージェントは同等品質で代替できますか？ その経済的純価値は一体何ドルですか？」

従来の選択式ベンチマーク（MMLU, GSM8K, HumanEval）は軒並み90%を超えて飽和（Saturation）し、Webクローリングによるデータ汚染（Contamination）によって単なる丸暗記テストへと形骸化しました。何より、5秒で解ける4択クイズと、**数時間で数百ステップに及ぶ状態変化を伴う意思決定を継続する長距離課題（Long-Horizon Agent Tasks）**とは全くの別物です。

Stanford CS329A: Self-Improving AI AgentsのPart 3: エージェントエンジニアリング（Agent Engineering）の最終講となる今回のLecture 12では、Agent Evaluation Benchmarks — AIの知能を無意味なパーセンテージではなく、**人間の時間（Human Time）と経済価値のドル（$）**という現実の物理尺度で測定する3大革新フレームワークを徹底解剖します：

• 人間の時間尺度知能 (METR, 2025): 50%成功率の時間地平線（h_agent）と7ヶ月周期の倍加の法則。
• 実戦的経済価値評価 (OpenAI GDPval, 2025): 米国GDP 9大産業44の専門職ブラインド評価と「修正コスト（Try-n-then-fix）」の経済学。
• 汚染のないリアルタイム学術リサーチ評価 (DeepScholar-Bench, 2025): 3次元7大指標とLLMジャッジの位置バイアス相殺技術。

現実世界のソフトウェアエンジニアリングは、単一関数を記述するアルゴリズムパズルや単純なベンチマークとは根本的に異なります。GitHub上の実際のバグ報告は単一ファイルに収まらず、数百のモジュール、複雑なレガシー依存関係、そして数百万行に及ぶ分散コードベースに深く絡み合っています。さらに本番環境においてソフトウェアは、単に「意味論的に正しい（Correct）」だけでなく、「十分に高速であるか（Fast）」、そして「並列ハードウェアと整合しているか（Aligned）」という冷厳な多面的評価をクリアしなければなりません。

本日より幕を開ける**スタンフォード CS329A: Self-Improving AI Agents（自己改善AIエージェント）の第3の山脈であるPart 3 · Agent Engineering (第10講〜第12講)**は、研究室でのモデル訓練を離れ、実戦的なソフトウェア工学の最前線へと突入します：

「数百万トークンに及ぶエンタープライズリポジトリをエージェントが自律探索し、バグ再現テストを自ら構築し、人間の手によるPyTorchベースラインを凌駕する超高速GPUカスタムカーネルを合成するにはどうすべきか？」

本稿では、SWE-Agent Autonomous Coding（自律的ソフトウェアエンジニアリングコーディング）の最前線を探究し、SWE-bench Benchmark GitHubで世界最高水準を達成したCodeMonkeys Automated Refactoring（CodeMonkeys自動リファクタリング）、ハードウェアプロファイラとの連動を実現したKernelBench GPU Performance Tuning（KernelBench GPU性能最適化）、そしてスタンフォード大学が提唱する**Agent-Computer Interface ACI（エージェント・システム・インターフェース ASI）**の3大ブレイクスルーを完全解剖します。