Ein Post getaggt mit "Action Tokenization"

In unserer vorherigen Vorlesung über Autonome Systeme und Zuverlässigkeit haben wir untersucht, wie Software-Agenten innerhalb virtueller Sandboxes operieren, abgesichert durch mehrstufige Sicherheitsgrenzen und AI Control Protokolle. Dennoch sieht sich die KI-Gemeinschaft einer existenziellen Frage gegenüber:

"Kann eine Intelligenz, die ausschließlich auf Computerbildschirme beschränkt ist, Text generiert und Software-Skripte ausführt, jemals echte Allgemeine Künstliche Intelligenz (AGI) erreichen? Unsere physische Realität wird nicht durch virtuelle Shell-Befehle gesteuert; sie wird geformt von Gravitation, Reibung, 3D-Geometrie und den feinen Kontaktdynamiken starrer sowie verformbarer Objekte."

Was geschieht, wenn wir ein multimodales Basismodell mit einem physischen Körper ausstatten — mit zwei hochauflösenden RGB-Augen (Kameras) und einem stählernen Roboterarm mit sieben Freiheitsgraden (Manipulator)?

• Ein rohes Hühnerei behutsam ohne Schalenbruch aufnehmen und in eine Pfanne legen;
• Verstreutes Kinderspielzeug im Wohnzimmer nach Farben sortieren und in Aufbewahrungsboxen ablegen;
• Auf einem industriellen Montageband mikroelektronische Steckverbinder mit einer Genauigkeit von 0,1 Millimetern präzise zusammenfügen!

Willkommen zu Vorlesung 16 von Stanford CS329A: Self-Improving AI Agents, dem vierten Teil von Part 4: Frontiers (Frontiers in Reasoning & Autonomy). Basierend auf den wegweisenden Arbeiten von Dr. Danny Driess (Founding Research Scientist bei Physical Intelligence, ehemals Google DeepMind Robotics) sezieren wir die Architektur von Vision-Language-Action (VLA) Modellen:

• Aktionen als Sprachtoken (RT-2, DeepMind 2023): Die Überführung kontinuierlicher 7DoF-Motorsteuerungssignale in 256 diskrete Vokabulartoken eines 55B-VLM.
• Der Triumph von Open Source (OpenVLA, 2024): Wie eine 7B-Architektur geschlossene 55B-Giganten übertrifft – dank dualer Bildfusion (SigLIP + DINOv2), Quantil-Binning und LoRA-Anpassung auf Consumer-Gaming-GPUs.
• Kontinuierliche Steuerung und Diffusion ($\pi_0$): Wie Flow Matching die Mikrovibrationen diskreter Quantisierung überwindet und komplexe Aufgaben wie das Falten von Wäsche meistert.
• Verkörperte Sicherheitsarchitektur: Zweistufige Schutzsysteme aus softwareseitiger Geschwindigkeitskappung und hardwarenahen Kraft-Momenten-Reflexschleifen.