Una publicación etiquetados con "Danny Driess"

En la lección previa sobre Sistemas Autónomos y Confiabilidad, analizamos cómo los agentes de software operan en entornos virtuales protegidos mediante sandboxes y protocolos de control de IA. Sin embargo, en la comunidad de inteligencia artificial persiste una interrogante ineludible:

"¿Puede una inteligencia confinada exclusivamente a terminales digitales, que genera texto y ejecuta código, considerarse una verdadera Inteligencia Artificial General (AGI)? Nuestra realidad no se rige por instrucciones de shell; está moldeada por la gravedad, la fricción, la geometría tridimensional euclidiana y las interacciones físicas entre objetos rígidos y deformables."

¿Qué ocurre cuando dotamos a un modelo fundacional de un cuerpo físico: dos ojos RGB de alta resolución (cámaras) y un brazo articulado de acero con siete grados de libertad (manipulador robótico)?

• Tomar un huevo crudo sin quebrar la cáscara y depositarlo suavemente en una sartén;
• Ordenar por colores los juguetes dispersos en el suelo de una sala de estar dentro de sus respectivas cajas;
• Insertar con precisión submilimétrica diminutos conectores electrónicos en una línea de montaje industrial.

Bienvenidos a la Clase 16 de Stanford CS329A: Self-Improving AI Agents, el cuarto capítulo de la Parte 4: Fronteras (Frontiers in Reasoning & Autonomy). De la mano de las investigaciones pioneras del Dr. Danny Driess (Investigador fundador en Physical Intelligence, exinvestigador principal en Google DeepMind Robotics), diseccionamos la arquitectura de los modelos de Visión-Lenguaje-Acción (VLA, Vision-Language-Action):

• Las acciones como tokens lingüísticos (RT-2, DeepMind 2023): La transformación de señales cinemáticas continuas de 7DoF en 256 tokens discretos integrados en el vocabulario de un VLM de 55B parámetros.
• La vanguardia del código abierto (OpenVLA, 2024): Superar a modelos cerrados de 55B con una arquitectura de 7B gracias a la fusión de visión dual SigLIP + DINOv2, discretización por cuantiles y ajuste fino LoRA en GPUs comerciales.
• Control continuo y políticas de difusión ($\pi_0$): Superar las microvibraciones de la discretización para dominar la manipulación de materiales deformables como doblar ropa o ensamblar cajas de cartón.
• Arquitectura de seguridad corporizada: Blindaje dual que combina el recorte de velocidad por software con bucles de reflejo por sensores de fuerza-par por hardware.