Un article tagués avec « VLA Models »

Dans notre précédent cours consacré aux Systèmes Autonomes et à la Fiabilité, nous avons vu comment les agents logiciels opèrent au sein de bacs à sable virtuels sécurisés par des harnais de défense et des protocoles de contrôle. Cependant, une interrogation fondamentale interpelle la communauté scientifique :

"Une intelligence cantonnée aux écrans d'ordinateur, générant du texte et exécutant des scripts, peut-elle réellement prétendre au titre d'Intelligence Artificielle Générale (AGI) ? Notre réalité physique n'est pas régie par des commandes shell ; elle est façonnée par la gravité, les frottements, la géométrie 3D euclidienne et les contacts subtils entre corps rigides et déformables."

Que se passe-t-il lorsque nous dotons un modèle fondation d'une incarnation physique — de deux yeux haute résolution (caméras RGB) et d'un bras articulé en acier à sept degrés de liberté (manipulateur robotique) ?

• Saisir un œuf cru sans en briser la coquille pour le poser délicatement sur une poêle ;
• Trier par couleur les jouets d'enfants disséminés sur le sol d'un salon dans leurs bacs respectifs ;
• Aligner et insérer avec une précision de 0,1 millimètre des connecteurs micro-électroniques sur une chaîne de montage !

Bienvenue dans le Cours 16 de Stanford CS329A: Self-Improving AI Agents, quatrième volet de la Partie 4 : Frontières (Frontiers in Reasoning & Autonomy). Inspirés des recherches pionnières du Dr Danny Driess (Chercheur fondateur chez Physical Intelligence, ex-responsable chez Google DeepMind Robotics), nous décortiquons l'architecture des modèles Vision-Langage-Action (VLA, Vision-Language-Action) :

• L'action comme modalité du langage (RT-2, DeepMind 2023) : La conversion des commandes cinématiques continues à 7DoF en 256 tokens discrets intégrés au vocabulaire d'un VLM de 55 milliards de paramètres.
• La percée de l'open source (OpenVLA, 2024) : Comment un modèle de 7B surpasse les modèles fermés de 55B grâce à la fusion visuelle duale SigLIP + DINOv2, au binning par quantiles et à l'adaptation LoRA sur GPU grand public.
• Contrôle continu et politiques de diffusion ($\pi_0$) : Dépasser les micro-vibrations de la discrétisation pour maîtriser les objets déformables comme le pliage du linge et l'assemblage de cartons.
• Architecture de sécurité incarnée : La double barrière logicielle de bridage de vitesse et matérielle par boucle réflexe d'effort-couple.