Stanford CS329A (第13讲): LLM Reasoning — 大模型推理的本质与思维链 (CoT, Self-Consistency, 涌现能力)
· 阅读需 15 分钟
数十年来，人工智能学术界一直笼罩在对联结主义神经网络的深层怀疑之中：
“自回归大型语言模型本质上不过是一个在统计上顺理成章拼凑下一个词的‘随机鹦鹉（Stochastic Parrot）’。面对需要多步运算、形式逻辑和因果推理的复杂问题时，它只能吐出似是而非的幻觉，根本不具备真正的演绎推理能力。”
早期前沿大模型在面对小学应用题时的糟糕表现似乎印证了这一点：缺乏中间思维草稿纸的模型往往跳过步骤直接给出一个离谱的错误数字。
从本讲开始，Stanford CS329A: Self-Improving AI Agents正式进入万众瞩目的压轴终章——Part 4: 最前沿（Frontiers, Lectures 13 through 17）。我们将直面机器智能最深奥的精神高地：LLM Reasoning Foundations（大模型推理的底层基石）。以Google DeepMind推理研究总负责人、思维链（Chain-of-Thought）开创者周登勇（Denny Zhou）博士的经典研究为核心，深入剖析大语言模型内部“推理的火花”究竟是如何被点燃的：
- 思维链提示法 (Chain of Thought CoT Prompting, NeurIPS 2022): 仅通过引入自然语言中间推理步骤，在不更新任何模型权重的前提下，让PaLM 540B的数学解题准确率从18%暴增至57%的底层奥秘。
- 自洽性解码 (Self-Consistency Decoding LLM, ICLR 2023): 基于“通向真理的道路殊途同归，通向谬误的歧途各不相同”的托尔斯泰收敛法则，通过多重推理路径采样与多数投票，过滤随机幻觉噪声。
- 涌现式认知能力 (Emergent Cognitive Abilities AI, 2022): 复杂系统物理学中的相变规律（“More is Different”）与斯坦福大学Arora教授“涌现是否为非线性指标造成的蜃景（Mirage）”之世纪大论战。