斯坦福 CS329A (第9讲): 后训练的大进化 — 从聊天机器人到自主行动智能体舰队 (SFT, RLHF, RLVR, Agent RL)
· 阅读需 13 分钟
一个最初只能预测互联网文本下一个词的“概率鹦鹉”（Base Model），究竟是如何演变为能够听懂人类复杂指令的对话助手（Chatbot），又进一步蜕变为能够自主调度终端工具、修改工程代码、在真实物理与数字环境中解决复杂问题的自主智能体（Agent）的？
今天，我们站在了**斯坦福 CS329A: Self-Improving AI Agents（自我提升型 AI 智能体）**第二大板块——**Part 2 · Training & Evolution (第6讲至第9讲)**的收官盛典之上。我们将以 Google DeepMind 资深研究科学家 Melvin Johnson 的宏观视角，全景式复盘现代人工智能后训练（Post-training）波澜壮阔的演化史：
“后训练的本质，是一场反馈信号监督权力的伟大交接：从人类手工示范的‘手’，交接到人类主观打分的‘眼’，再交接到客观确定性的‘规则验证器’，最终彻底交接给数字沙箱物理执行的‘真实结果’。”
本文将以 Autonomous Agent Evolution Roadmap（自主智能体演化路线图） 为主线，全面拆解 Post-Training LLM Evolution（后训练演化） 的底层逻辑：从 Supervised Fine-Tuning SFT Agent（监督微调） 的天花板，到 RLHF Alignment for Agents（人类对齐强化学习） 的辉煌与古德哈特诅咒，再到由 DeepSeek-R1 引爆的 RLVR（可验证奖励强化学习），以及实现 Tool-Grounded Post-Training（工具接地型后训练） 的 Agent RL 最前沿体系。