Stanford CS329A (Ep 16): Multimodal & Embodied Agents — 물리 세계를 조작하는 로보틱스 파운데이션 모델 (VLA, RT-2, OpenVLA, π₀)
· 약 9분
지난 강의에서 우리는 소프트웨어 에이전트가 격리된 가상 샌드박스 안에서 다중 경계 방어 하네스와 AI Control 프로토콜을 통해 안전성을 유지하는 원리를 배웠습니다. 하지만 인공지능 커뮤니티에는 근본적인 의문이 남아 있습니다:
"컴퓨터 화면 안에서 텍스트를 생성하고 코드를 실행하는 것만으로 '완전한 인공 일반 지능(AGI)'이라고 부를 수 있을까요? 우리가 발을 딛고 살아가는 현실 세계는 가상 터미널이 아니라 중력, 마찰력, 3차원 공간, 그리고 딱딱하거나 부드러운 물리적 물체들로 가득 차 있습니다."
만약 거대 파운데이션 모델에게 2개의 고해상도 눈(RGB 카메라)과 강철로 된 7자유도 관절 팔(로봇 매니퓰레이터)을 달아준다면 어떤 일이 벌어질까요?
- 깨지기 쉬운 날달걀을 껍데기 손상 없이 집어 프라이팬에 올리고,
- 어질러진 거실 바닥에서 아이의 장난감을 색상별로 분류해 상자에 정리하며,
- 공장 조립 라인에서 미세한 전자 부품을 0.1밀리미터 오차로 정밀하게 결합하는 일!
Stanford CS329A: Self-Improving AI Agents의 Part 4: 프런티어(Frontiers in Reasoning & Autonomy) 네 번째 강의인 Lecture 16에 오신 것을 환영합니다. 구글 딥마인드 로보틱스 출신이자 피지컬 인텔리전스(Physical Intelligence)의 창립 연구원인 대니 드리스(Danny Driess) 박사의 선구적 연구를 바탕으로, 시각-언어 모델(VLM)이 로봇 팔의 물리적 모터 신경망으로 직접 진화한 **비전-언어-행동 모델(VLA, Vision-Language-Action)**의 혁명적 구조를 분석합니다:
- 행동도 언어의 일종이다 (RT-2, DeepMind 2023): 7자유도 연속 모터 제어 신호를 256개 이산 토큰으로 변환하여 55B 거대 VLM의 어휘집에 이식한 발상의 전환.
- 오픈소스와 경량화의 승리 (OpenVLA, 2024): SigLIP과 DINOv2의 이중 시각 융합, 분위수 빈닝(Quantile Binning), LoRA 미세조정을 통해 단 1장의 소비자용 게이밍 GPU에서 55B 모델을 꺾은 7B 모델의 기적.
- 연속 제어와 물리 피드백 ($\pi_0$): 이산 토큰의 미세 떨림을 극복하고 빨래 개기와 상자 접기 등 유연 물체를 정복한 플로우 매칭(Flow Matching) 확산 정책.
- 체화된 지능의 2중 안전 하네스: 소프트웨어 임계 토큰 클리핑과 하드웨어 힘-토크 센서 반사 신경망.