Stanford CS329A (Ep 16): Multimodal & Embodied Agents — Modelos de Fundação Robóticos para o Mundo Físico (VLA, RT-2, OpenVLA e π₀)
Em nossa aula anterior sobre Sistemas Autônomos e Confiabilidade, vimos como os agentes de software operam em ambientes virtuais protegidos por barreiras e protocolos de controle. Contudo, uma pergunta fundamental desafia a comunidade de inteligência artificial:
"Pode uma inteligência restrita a telas de computador, gerando texto e executando código, ser considerada uma autêntica Inteligência Artificial Geral (AGI)? Nossa realidade não é regida por linhas de comando; ela é estruturada por gravidade, atrito, geometria 3D euclidiana e contatos dinâmicos entre corpos rígidos e deformáveis."
O que acontece quando concedemos a um modelo fundacional uma forma física — dois olhos de alta resolução (câmeras RGB) e um braço articulado de aço com sete graus de liberdade (manipulador robótico)?
- Pegar um ovo cru sem trincar a casca e depositá-lo com suavidade em uma frigideira;
- Separar por cores os brinquedos espalhados pela sala em suas respectivas caixas organizadoras;
- Conectar componentes microeletrônicos em uma esteira industrial com tolerância inferior a 0,1 milímetro!
Sejam bem-vindos à Aula 16 de Stanford CS329A: Self-Improving AI Agents, o quarto capítulo da Parte 4: Fronteiras (Frontiers in Reasoning & Autonomy). Com base nos estudos pioneiros do Dr. Danny Driess (Pesquisador fundador da Physical Intelligence, ex-pesquisador líder no Google DeepMind Robotics), analisamos a arquitetura dos modelos de Visão-Linguagem-Ação (VLA, Vision-Language-Action):
- Ações como tokens de linguagem (RT-2, DeepMind 2023): A conversão de comandos cinemáticos contínuos de 7DoF em 256 tokens discretos integrados ao vocabulário de um VLM de 55 bilhões de parâmetros.
- A vanguarda do código aberto (OpenVLA, 2024): Superando modelos proprietários de 55B com uma arquitetura de 7B via fusão visual dual SigLIP + DINOv2, discretização por quantis e LoRA em GPUs comuns.
- Controle contínuo e políticas de difusão ($\pi_0$): Superando microvibrações para manipular materiais deformáveis, como dobrar roupas ou montar caixas de papelão.
- Arquitetura de segurança corporificada: A barreira dupla combinando limitação de velocidade por software e loops de reflexo por sensores de força-torque no hardware.