史丹佛 CS329A (第9講): 後訓練的大進化 — 從聊天機器人到自主行動代理人艦隊 (SFT, RLHF, RLVR, Agent RL)
· 閱讀時間約 13 分鐘
一個最初只能預測網際網路文本下一個詞的「機率鸚鵡」（Base Model），究竟是如何演變為能夠聽懂人類複雜指令的對話助手（Chatbot），又進一步蛻變為能夠自主調度終端工具、修改工程代碼、在真實物理與數位環境中解決複雜問題的自主代理人（Agent）的？
今天，我們站在了**史丹佛 CS329A: Self-Improving AI Agents（自我提升型 AI 代理人）**第二大板塊——**Part 2 · Training & Evolution (第6講至第9講)**的收官盛典之上。我們將以 Google DeepMind 資深研究科學家 Melvin Johnson 的宏觀視角，全景式複盤現代人工智慧後訓練（Post-training）波瀾壯闊的演化史：
「後訓練的本質，是一場反饋訊號監督權力的偉大交接：從人類手工示範的『手』，交接到人類主觀打分的『眼』，再交接到客觀確定性的『規則驗證器』，最終徹底交接給數位沙箱物理執行的『真實結果』。」
本文將以 Autonomous Agent Evolution Roadmap（自主代理人演化路線圖） 為主線，全面拆解 Post-Training LLM Evolution（後訓練演化） 的底層邏輯：從 Supervised Fine-Tuning SFT Agent（監督微調） 的天花板，到 RLHF Alignment for Agents（人類對齊強化學習） 的輝煌與古德哈特詛咒，再到由 DeepSeek-R1 引爆的 RLVR（可驗證獎勵強化學習），以及實現 Tool-Grounded Post-Training（工具接地型後訓練） 的 Agent RL 最前沿體系。