Stanford CS329A (第13講): LLM Reasoning — 大模型推理的本質與思維鏈 (CoT, Self-Consistency, 湧現能力)
· 閱讀時間約 15 分鐘
數十年來，人工智慧學術界一直籠罩在對聯結主義神經網路的深層懷疑之中：
「自回歸大型語言模型本質上不過是一個在統計上順理成章拼湊下一個詞的『隨機鸚鵡（Stochastic Parrot）』。面對需要多步運算、形式邏輯和因果推理的複雜問題時，它只能吐出似是而非的幻覺，根本不具備真正的演繹推理能力。」
早期前沿大模型在面對國小應用題時的糟糕表現似乎印證了這一點：缺乏中間思維草稿紙的模型往往跳過步驟直接給出一個離譜的錯誤數字。
從本講開始，Stanford CS329A: Self-Improving AI Agents正式進入萬眾矚目的壓軸終章——Part 4: 最前沿（Frontiers, Lectures 13 through 17）。我們將直面機器智慧最深奧的精神高地：LLM Reasoning Foundations（大模型推理的底層基石）。以Google DeepMind推理研究總負責人、思維鏈（Chain-of-Thought）開創者周登勇（Denny Zhou）博士的經典研究為核心，深入剖析大語言模型內部「推理的火花」究竟是如何被點燃的：
- 思維鏈提示法 (Chain of Thought CoT Prompting, NeurIPS 2022): 僅透過引入自然語言中間推理步驟，在不更新任何模型權重的前提下，讓PaLM 540B的數學解題準確率從18%暴增至57%的底層奧秘。
- 自洽性解碼 (Self-Consistency Decoding LLM, ICLR 2023): 基於「通向真理的道路殊途同歸，通向謬誤的歧途各不相同」的托爾斯泰收斂法則，透過多重推理路徑取樣與多數投票，過濾隨機幻覺雜訊。
- 湧現式認知能力 (Emergent Cognitive Abilities AI, 2022): 複雜系統物理學中的相變規律（“More is Different”）與史丹佛大學Arora教授「湧現是否為非線性指標造成的蜃景（Mirage）」之世紀大論戰。