Stanford CS329A (Ep 16): Multimodal & Embodied Agents — 操控物理世界的机器人大模型 (VLA, RT-2, OpenVLA 与 π₀)
· 阅读需 13 分钟
在上一讲关于自主系统与可靠性的课程中，我们探讨了软件智能体如何在虚拟沙箱内依托多重边界防御线束与 AI Control 协议维持系统的稳健性。然而，人工智能学界面临着一个更为本质的拷问：
"一个仅局限于计算机屏幕之内、生成文本并运行代码的系统，能真正被称为通用人工智能（AGI）吗？我们所身处的真实物理世界并非由虚拟命令构建，而是充满了重力、摩擦力、三维空间几何以及刚体与柔性物体的复杂物理交互。"
如果我们为基础大模型装上一双高分辨率的「眼睛」（RGB 摄像头）与一条由七个自由度钢制关节构成的机械臂，世界将会发生怎样的蜕变？
- 稳稳抓起一颗生鸡蛋并轻柔放入平底锅，蛋壳丝毫不损；
- 在杂乱无章的客厅地面上，将儿童玩具精准按颜色分拣收纳进对应储物盒；
- 在自动化工业装配线上，以 0.1 毫米级的极致精度精准对准并插入微型电子接插件！
欢迎来到 Stanford CS329A: Self-Improving AI Agents 的 Part 4: 前沿探索（Frontiers in Reasoning & Autonomy） 第四讲：Lecture 16。依托 Google DeepMind 机器人团队核心成员、Physical Intelligence 联合创始研究员 Danny Driess 博士 的开创性成果，我们将全面剖析视觉-语言-动作模型（VLA, Vision-Language-Action）这一将多模态大模型直接植入机器人运动神经的革命性体系：
- 动作即语言（RT-2, DeepMind 2023）： 将 7 自由度连续机械臂运动量离散化为 256 个词元，并入 55B 巨型 VLM 词表的跨界创新。
- 开源与轻量化的胜利（OpenVLA, 2024）： 依托 SigLIP 与 DINOv2 双视觉编码融合、分位数分箱（Quantile Binning）与 LoRA 适配，在单张消费级显卡上实现反超 55B 专有模型的 7B 架构奇迹。
- 连续控制与物理世界反馈（$\pi_0$）： 克服离散分箱微颤、征服叠衣服与折纸箱等柔性物体复杂操控的流匹配（Flow Matching）扩散策略。
- 具身智能双重安全机制： 软件级阈值动作截断与硬件级力矩传感器物理反射回路。