[Stanford CS329A #6] 訓練期擴展與強化學習：DeepSeekMath、GRPO與大規模推理優化
· 閱讀時間約 16 分鐘
歡迎來到史丹佛大學2025秋季最新研究生課程——**CS329A: Self-Improving AI Agents（自主進化AI智能體）**的第六篇深度工程解析。
在第1講至第5講（Part 1: 基礎理論篇）中，我們全面剖析了如何對已經預訓練完成並處於凍結狀態的模型，通過注入測試期算力（Test-time Compute）來榨取性能極限：構建 MCTS 搜尋樹、結合編譯器報錯自糾錯，以及使用弱驗證器集成過濾最優答案。
然而，我們必須直面殘酷的數學現實： 給一個小學生在考場上多留十分鐘思考，他能夠證明大學高等微積分中的定理嗎？如果模型本身的神經網絡突觸（權重參數，$\theta$）內部從未編碼過該概念與推理邏輯，那麼無論是採樣一萬次還是展開龐大的波束搜尋，產出的都不是真正的智能，而僅僅是隨機機率下的僥倖。
今天正式開啟的 Part 2: Training & Evolution（訓練與自主進化篇，第6講~第9講），正是直擊這一核心命題：
「與其在每次推理時耗費昂貴算力進行外掛搜尋，為什麼不在訓練期（Train-time）傾注海量算力，將模型的神經突觸與參數權重永久性地淬煉為頂尖推理專家？」
在第6講中，我們將深度解構破除人工標註枷鎖、催生現代頂尖推理模型的**後訓練強化學習（Post-Training RL）**三大核心支柱：
- 用自我生成的推演過程教會自己的自舉範式： STaR（Self-Taught Reasoner, Zelikman et al., Stanford 2022）
- 徹底消滅 Critic 價值網絡的強化學習革命： DeepSeekMath 與 GRPO（Group Relative Policy Optimization, 2024）
- 千卡 GPU 集群實戰工程秘訣： DAPO（Decoupled Clip & Dynamic Sampling, 2025）
flowchart TD
subgraph ParadigmShift ["範式巨變：推理期算力 vs 訓練期算力"]
direction TB
TestTime["Part 1: 推理期擴展 (Test-Time Scaling)<br/>• 神經網絡權重凍結 (θ = 常數)<br/>• 外掛執行階段搜尋 (MCTS, ReAct, RLEF)<br/>• 極高的響應時延與高昂的伺服端推理成本"]
--> TrainTime["Part 2: 訓練期擴展 (Train-Time RL)<br/>• 梯度下降主動優化網絡參數 (θ ← θ + Δθ)<br/>• 強化學習將深層戰略規劃直覺刻入突觸<br/>• 生產環境單次前向傳播 (Single-Pass) 極速推理"]
end
subgraph RLEvolution ["數學推理強化學習三大進化里程碑"]
direction TB
M1["STaR (史丹佛 2022)<br/>• 僅收集自身答對的推演過程進行監督微調<br/>• 事後合理化 (Rationalization): 逆向搭建推理邏輯橋樑<br/>• 6B 參數模型在 CommonsenseQA 媲美 175B 的 GPT-3"]
--> M2["GRPO (DeepSeekMath 2024)<br/>• 徹底砍掉 Critic 價值模型 (GPU 顯存佔用直接腰斬)<br/>• G 個輸出成組歸一化 Z-score 計算優勢值 Advantage<br/>• 7B 開源模型在 MATH 基準測試力克谷歌 540B Minerva"]
--> M3["DAPO (工業級大規模開源 2025)<br/>• 非對稱 Clip-Higher (0.28 vs 0.20) 遏制熵崩塌<br/>• 動態採樣徹底過濾零方差無效批次<br/>• Qwen-32B 以一半訓練步數打破 DeepSeek-R1-Zero 紀錄"]
end
ParadigmShift ==> RLEvolution