「test-time-compute」タグの記事が2件件あります

スタンフォード大学の2025年秋学期・最新大学院講座、**CS329A: Self-Improving AI Agents（自己改善AIエージェント）**の第2回エンジニアリング解説へようこそ。

第1講では、静的な次トークン予測器としてのLLMが、環境とフィードバックループを回す自律型エージェントへと変貌するパラダイムシフトを概括しました。本日扱う第2講のテーマは、この自律的な自己改善を支える最も本質的な計算基盤、すなわち**推론時計算量スケーリング（Test-Time Compute Scaling / Inference-Time Scaling）**です。

過去5年以上にわたり、AI業界を支配してきた唯一の教義は事前学習（Pre-training）のスケーリング則（Kaplanら、Chinchilla）でした。「GPUクラスタを巨大化し、パラメータ数Nを数千億に増やし、数十兆トークンのウェブデータを学習させる」。しかし、学習が完了し重みθが固定（Frozen）されたモデルに対し、0.05秒で貪欲（Greedy）に答えさせる代わりに、10秒、1分、あるいは10分間深く思考させ、中間推論を検証し、仮説を自己修正させながら推論計算量（FLOPs）を投入したら何が起きるでしょうか？

Large Language Monkeys（Brownら、2024）、スタンフォード・バークレーのCharlie Snell研究チームによるCompute-Optimal Scaling（Snellら、2024）、そしてArchonモジュール型アーキテクチャフレームワークを通じて、**「推論計算量を投資してパラメータ容量を凌駕する現代AIの最適化法則」**を数理的・工学的に解き明かします。

flowchart TD
    subgraph PreTrain ["古典的フロンティア: 事前学習計算量のスケーリング"]
        direction TB
        P1["数兆トークンの公開ウェブデータ (D)"] --> P2["大規模GPUクラスタによる事前学習 (C_train)"]
        P2 --> P3["固定された高密度モデル重み (θ)"]
        P3 --> P4["単一フォワードパス推論 (O(1) 固定計算量)"]
    end

    subgraph TestTime ["CS329Aフロンティア: 推論時計算量スケーリング"]
        direction TB
        T1["固定された基底重み (θ)"] --> T2["動的な推論FLOPsの可変投入"]
        T2 --> T3{"問題の難易度適応型戦略の選択"}
        T3 -- "低難易度 (Bin 1-2)" --> T4["逐次修正 (Sequential Revision: 自己修正)"]
        T3 -- "高難易度 (Bin 3-5)" --> T5["PRM誘導ツリー探索 (MCTS / ビームサーチ)"]
        T4 --> T6["プロセス報酬モデル (PRM) 検証器"]
        T5 --> T6
        T6 --> T7["数学的・機械的に検証された最終正解の抽出"]
    end

    PreTrain -.->|"変曲点: パラメータスケーリングの飽和"| TestTime

**スタンフォード大学（Stanford University）CS329A: Self-Improving AI Agents（自己改善型AIエージェント、2025年秋学期）**の技術解説へようこそ。

過去4年間、人工知能の研究と産業界は一つの強力なドグマに支配されてきました。それは、「より大規模なテキストコーパス上で、より巨大なモデルを事前学習（Pre-training）するほど、認知能力は予測可能な形で向上する」というスケーリング則（Scaling Laws）です。このパラダイムが現代の生成AI革命を牽引し、GPT-4、Claude 3.5、Geminiを生み出したことは間違いありませんが、機械学習フロンティアは今、決定的な転換点（Inflection Point）を迎えています。

静的な基盤モデル（Static Foundation Model）は、どれほどパラメータ数が膨大であっても、本質的な限界を抱えています。事前学習が完了して重みが凍結（Frozen）された後は、開ループ（Open-loop）で動作する受動的な自己回帰（Autoregressive）次トークン予測器に過ぎないという点です。難問に直面しても動的に計算リソースを追加配分できず、自身が生成した解の事実的正確性を検証できず、環境からのフィードバックをもとに誤りを自律修正することもできません。

flowchart LR
    subgraph 静的パラダイム ["従来の静的パラダイム (2020-2024)"]
        direction TB
        A1[大規模Webコーパス] --> B1[事前学習クラスタ]
        B1 --> C1[教師あり微調整 SFT]
        C1 --> D1[凍結された静的モデル]
        D1 -->|単一フォワードパス| E1[単発のテキスト応答]
    end

    subgraph 自律的自己改善パラダイム ["スタンフォードCS329A最前線：自己改善エージェント"]
        direction TB
        A2[複雑なタスク目標] ==> B2[推論・計画エンジン]
        B2 -->|実行アクション / コード下書き| C2[サンドボックス環境・ツール]
        C2 -->|実行トレースと状態| D2[プロセス検証器 PRM]
        D2 -->|報酬・エラーフィードバック| B2
        D2 ==>|推論時・訓練時アップデート| E2[持続的な自己進化]
    end

スタンフォードCS329Aが投げかける中心的な問いは次の通りです：「単にテキストを出力するだけでなく、自身の推論とコードを自ら検査、検証、計画し、改善し続けるソフトウェアエージェントをどのように構築するか？」

本講義では、基盤LLMから自律型エージェントへの進化軌跡を解き明かし、事前学習スケーリング則と推論時計算量配分の数学的定式化を学び、4大標準エージェントワークフローパターンと、自律知能の最大のボトルネックである**「生成器・検証器ギャップ（Generator-Verifier Gap）」**を徹底的に解剖します。