Stanford CS329A (Ep 16): Multimodal & Embodied Agents — 操控物理世界的機器人基底模型 (VLA, RT-2, OpenVLA 與 π₀)
· 閱讀時間約 13 分鐘
在上一講關於自主系統與可靠性的課程中，我們探討了軟體代理人如何在虛擬沙盒內依托多重邊界防禦線束與 AI Control 協議維持系統的穩健性。然而，人工智慧學界面臨著一個更為本質的拷問：
"一個僅局限於電腦螢幕之內、生成文本並執行程式碼的系統，能真正被稱為通用人工智慧（AGI）嗎？我們所身處的真實物理世界並非由虛擬指令構建，而是充滿了重力、摩擦力、三維空間幾何以及剛體與柔性物體的複雜物理互動。"
如果我們為基礎大模型裝上一雙高解析度的「眼睛」（RGB 攝影機）與一條由七個自由度鋼製關節構成的機械手臂，世界將會發生怎樣的蛻變？
- 穩穩抓起一顆生雞蛋並輕柔放入平底鍋，蛋殼絲毫無損；
- 在雜亂無章的客廳地面上，將兒童玩具精準按顏色分揀收納進對應儲物盒；
- 在自動化工業裝配線上，以 0.1 毫米級的極致精度精準對準並插入微型電子接插件！
歡迎來到 Stanford CS329A: Self-Improving AI Agents 的 Part 4: 前沿探索（Frontiers in Reasoning & Autonomy） 第四講：Lecture 16。依托 Google DeepMind 機器人團隊核心成員、Physical Intelligence 聯合創始研究員 Danny Driess 博士 的開創性成果，我們將全面剖析視覺-語言-動作模型（VLA, Vision-Language-Action）這一將多模態大模型直接植入機器人運動神經的革命性體系：
- 動作即語言（RT-2, DeepMind 2023）： 將 7 自由度連續機械手臂運動量離散化為 256 個詞元，併入 55B 巨型 VLM 詞彙庫的跨界創新。
- 開源與輕量化的勝利（OpenVLA, 2024）： 依托 SigLIP 與 DINOv2 雙視覺編碼融合、分位數分箱（Quantile Binning）與 LoRA 適配，在單張消費級顯示卡上實現反超 55B 專有模型的 7B 架構奇蹟。
- 連續控制與物理世界回饋（$\pi_0$）： 克服離散分箱微顫、征服折衣服與折紙箱等柔性物體複雜操控的流匹配（Flow Matching）擴散策略。
- 具身智能雙重安全機制： 軟體級閥值動作截斷與硬體級力矩感測器物理反射迴路。