跳至主要内容

1 篇文章 含有標籤「rlhf」

檢視所有標籤

[史丹佛 CS146S #2] 程式碼大模型底層原理與提示詞工程:從預訓練、RLHF到「瑞士起司模型」的驗證哲學

· 閱讀時間約 2 分鐘
Jaybee
AI & Robotics Engineer

Inside Coding LLMs & Prompt Engineering

歡迎回到史丹佛大學尖端軟體工程課程 CS146S:現代軟體開發者 (The Modern Software Developer) 第2講的技術解析。

在第1講中,我們探討了軟體工程師從傳統打字員轉型為 AI 智慧代理人指揮家的巨變。在**第2講(第一週)**中,課程深入探討這場革命的核心:程式碼大型語言模型(Coding LLMs)的內部運作機制與提示詞工程(Prompt Engineering)。

結合 Andrej Karpathy 的經典講座《Deep Dive into LLMs》、OpenAI《How OpenAI Uses Codex》及 Google Cloud、DAIR.AI 的最新研究,本篇剖析 LLM 處理程式碼的數理本質、**「瑞士起司模型」的潛在缺陷,以及「信任但必須驗證 (Trust but Verify)」**的嚴格工程架構。