2 篇文章 含有標籤「self-improving-agents」

歡迎閱讀史丹佛大學2025年秋季最新頂尖研究所課程**CS329A: Self-Improving AI Agents（自我演進AI代理人）**的第二篇專業工程解析。

在第一講中，我們綜述了從靜態自迴歸次詞預測器邁向具備環境反饋閉環的自主代理人之宏觀範式躍遷。今天第二講所探討的，正是支撐此自主演進能力的最核心計算支柱：推理時間計算縮放（Test-Time Compute Scaling / Inference-Time Scaling）。

過去五年間，整個AI產業界信奉的唯一教條是預訓練階段的縮放定律（Kaplan等人，Chinchilla定律）：建造超大規模GPU叢集，將模型參數規模N推升至數千億級，並灌注數十兆標記（Tokens）的網路資料。然而，在模型權重θ預訓練完成後，如果我們拒絕讓模型在50毫秒內草率給出貪婪預測（Greedy decoding），而是讓代理人投入10秒、1分鐘甚至10分鐘深入推敲、檢驗中間步驟、並自主反覆修正假設，會發生什麼顛覆性的轉變？

依託Large Language Monkeys（Brown等人，2024）、史丹佛-柏克萊Charlie Snell研究團隊的Compute-Optimal Scaling（Snell等人，2024）以及Archon模組化架構搜尋框架，我們將從數學理論與系統工程雙重視角，徹底解析**「如何透過投入推理算力（FLOPs）打破參數規模壟斷，實現智慧躍遷」**。

flowchart TD
    subgraph PreTrain ["經典前沿：預訓練時間計算縮放 (Train-Time Scaling)"]
        direction TB
        P1["數十兆公開網路資料標記 (D)"] --> P2["超大規模GPU訓練叢集 (C_train)"]
        P2 --> P3["事後權重凍結的稠密模型 (θ)"]
        P3 --> P4["單次前向傳播推理 (O(1) 固定推理算力)"]
    end

    subgraph TestTime ["CS329A前沿：推理時間計算縮放 (Test-Time Compute Scaling)"]
        direction TB
        T1["凍結的基礎權重 (θ)"] --> T2["動態分配推理計算量 (FLOPs)"]
        T2 --> T3{"問題難度自適應策略選擇"}
        T3 -- "低難度 (Bin 1-2)" --> T4["循序修正 (Sequential Revision: 自我除錯)"]
        T3 -- "高難度 (Bin 3-5)" --> T5["PRM引導的樹搜尋 (MCTS / 束搜尋)"]
        T4 --> T6["過程獎勵模型 (PRM) 驗證器"]
        T5 --> T6
        T6 --> T7["數學與機制上雙重驗證的最佳解"]
    end

    PreTrain -.->|"拐點：參數擴展飽和"| TestTime

歡迎閱讀**史丹佛大學（Stanford University）CS329A：Self-Improving AI Agents（自我改進AI代理，2025秋季學期）**的核心技術解析。

在過去的四年中，人工智慧領域一直被一條強大而單一的教條所主導：在海量文本語料庫上預訓練更大規模的模型，能夠以可預測的規律持續提升認知能力。儘管這一典範催生了現代生成式AI革命，孕育出GPT-4、Claude 3.5與Gemini等突破性模型，但機器學習的研究前沿已經迎來了決定性的轉折點。

靜態基底模型（Static Foundation Model）無論參數規模多麼龐大，都存在著根本性的結構侷限：它們是在預訓練完成、權重凍結（Frozen）之後，在開環（Open-loop）體系下運行的被動、自迴歸（Autoregressive）下一標記預測器。面對棘手難題時，它們無法動態分配更多的算力，無法自主驗證自身推導的真實正確性，也無法藉助環境反饋自發糾錯。

flowchart LR
    subgraph 靜態典範 ["傳統靜態模型典範 (2020-2024)"]
        direction TB
        A1[海量網際網路語料] --> B1[超大預訓練叢集]
        B1 --> C1[指令微調 SFT]
        C1 --> D1[凍結的靜態權重模型]
        D1 -->|單次前向傳播| E1[單向文本回應]
    end

    subgraph 自主進化典範 ["史丹佛CS329A前沿：自我改進代理"]
        direction TB
        A2[複雜任務目標] ==> B2[推理與規劃引擎]
        B2 -->|草擬動作 / 程式碼| C2[沙盒環境與外部工具]
        C2 -->|執行軌跡與狀態| D2[過程獎勵驗證器 PRM]
        D2 -->|獎勵與錯誤反饋| B2
        D2 ==>|測試期與訓練期更新| E2[持續自我演化]
    end

史丹佛CS329A致力於解答未來十年AI的核心命題：「我們該如何建構不僅能生成文本，更能在動態環境中持續自我檢查、自我驗證、自我規劃並完善自身推理與程式碼的軟體代理？」

在本次開篇總覽課中，我們將解構從基底模型邁向代理系統的演進軌跡，形式化拆解擴展定律與推理期算力分配的數學機制，分析四大標準代理工作流程架構，並剖析制約自主智能演進的核心瓶頸——生成器-驗證器差距（Generator-Verifier Gap）。