「Action Tokenization」タグの記事が1件件あります

前回の講義では、隔離された仮想サンドボックス内において、多重境界防護ハーネスとAI Controlプロトコルを用いて自律エージェントの安全性を維持する機構を学びました。しかし、人工知能コミュニティには根本的な問いが残されています：

"コンピュータの画面内でテキストを生成しコードを実行するだけで、真の『汎用人工知能（AGI）』と呼べるだろうか？ 我々が暮らす物理現実は仮想端末ではなく、重力、摩擦力、3次元幾何学、そして硬質・柔軟な無数の実体物によって満ちている。"

もし基盤モデルに2つの高解像度カメラの「眼」と、鋼鉄製の7自由度関節アーム（ロボットマニピュレータ）という「身体」を授けたら何が起きるでしょうか？

• 生卵を殻を割ることなく把持してフライパンへ静かに載せる、
• 散らかったリビングの床から子どものおもちゃを色別に識別して専用トレイに分類する、
• 工場の製造ラインにおいて、微細な電子コネクタを0.1ミリメートルの精度で正確に嵌合させる！

Stanford CS329A: Self-Improving AI AgentsのPart 4: フロンティア（Frontiers in Reasoning & Autonomy）第4講となるLecture 16へようこそ。Google DeepMind Robotics出身でありPhysical Intelligenceの創業研究員であるダニー・ドリース（Danny Driess）博士の先駆的研究を基盤に、視覚言語モデル（VLM）がロボットアームの物理モーター神経回路へと直接進化した**視覚・言語・行動モデル（VLA, Vision-Language-Action）**の革命的アーキテクチャを解剖します：

• 行動もまた言語の一種である（RT-2, DeepMind 2023）： 7自由度の連続運動信号を256個の離散トークンへと量子化し、55Bの超巨大VLM語彙集へと統合した発想の転換。
• オープンソースと軽量化の勝利（OpenVLA, 2024）： SigLIPとDINOv2による二重視覚融合、分位数ビニング（Quantile Binning）、LoRA適応を通じ、単一の民生用ゲーミングGPU上で55Bモデルを凌駕した7Bモデルの革新。
• 連続制御と物理世界フィードバック（$\pi_0$）： 離散トークン特有の微小な振動を克服し、洗濯物たたみや段ボール組み立てなど柔軟物体の変形操作を制覇したフローマッチング（Flow Matching）拡散ポリシー。
• 身体性AIの2重安全防護機構： ソフトウェアレベルの閾値クリッピングと、ハードウェアレベルの力トルクセンサー反射神経ループ。