スタンフォード CS329A (第9講): 事後学習の大進化 — チャットボットから自律エージェント艦隊へ (SFT, RLHF, RLVR, Agent RL)
ウェブテキストの次の単語を確率的に予測するだけの「オウム」に過ぎなかった未加工の言語モデル（Base Model）が、いかにして人間の指示に的確に応える親切なアシスタント（Chatbot）となり、さらには自らツールを駆使してLinux端末を操作し複雑な課題を自律完遂するエージェント（Agent）へと生まれ変わったのでしょうか。
本日、我々は**スタンフォード CS329A: Self-Improving AI Agents（自己改善AIエージェント）の第2の巨大な山脈であるPart 2 · Training & Evolution (第6講〜第9講)**のグランドフィナーレを迎えます。Google DeepMindのシニアリサーチサイエンティスト、メルビン・ジョンソン（Melvin Johnson）の視点を基軸に、現代AIが辿ってきた事後学習（Post-training）の進化史全体を一望するパノラマとして総括します：
「事後学習の歴史とは、フィードバック信号の主権を『人間の手（実演データ）』から『人間の目（選好度評価）』へ、そして『客観的検証器（数学・コンパイラ）』へ、最終的には『物理的実行サンドボックスの環境結果そのもの』へと委譲してきた壮大な旅路である。」
本稿では、**Autonomous Agent Evolution Roadmap（自律エージェント進化ロードマップ）**を軸に、Post-Training LLM Evolution（事後学習の進化）、Supervised Fine-Tuning SFT Agent（教師あり微調整）の限界、RLHF Alignment for Agents（人間選好に基づくアライメント）の功罪、DeepSeek-R1が切り拓いたRLVR（検証可能報酬強化学習）、そしてTool-Grounded Post-Training（ツール接地型事後学習）を実現するAgent RLの最新フロンティアを徹底解剖します。