[スタンフォード CS146S #2] コーディングLLMの動作原理とプロンプトエンジニアリング：事前学習・RLHFからスイスチーズモデルの検証まで
· 約3分
スタンフォード大学の最先端ソフトウェア工学講義 CS146S: 現代のソフトウェア開発者 (The Modern Software Developer) 第2講の技術解説へようこそ。
第1講では、開発者が単なる構文のタイピストから、複数のAIエージェントを指揮する「オーケストラの指揮者」へと進化するパラダイムシフトを概観しました。第2講 (Week 1) では、この革命を支える計算エンジンである コーディング大規模言語モデル (Coding LLMs) の動作メカニズムと、これらを制御する プロンプトエンジニアリング (Prompt Engineering) の真髄に迫ります。
Andrej Karpathyの Deep Dive into LLMs、OpenAIの How OpenAI Uses Codex、Google Cloud / DAIR.AIの最新研究に基づき、事前学習・RLHFの3段階パイプライン、AIコードに潜む スイスチーズモデル (Swiss Cheese Model)、そして 「信頼せよ、されど検証せよ (Trust but Verify)」 の防御的アーキテクチャを解説します。