メインコンテンツまでスキップ

「RAG」タグの記事が1件件あります

全てのタグを見る

Stanford CS329A (第11回): Agent Memory — 長短期記憶とOS型階層メモリ (MemGPT, Cartridges, CacheBlend)

· 約15分
Jaybee
AI & Robotics Engineer

自律型AIエージェントを長期的な開発パートナーや自律エンジニアとして実務に導入すると、誰もが次の3つの深刻な構造的ボトルネックに直面します:

  1. 「昨日時間をかけて議論し決定した重要なアーキテクチャ方針を、今朝のセッションで完全に忘れてしまう。」
  2. 「10万行の大規模コードベースを100万トークンのコンテキストウィンドウに丸ごと投入すると、途中の重要コードを見落とし(Lost-in-the-Middle現象)、1ターンごとに数ドルのAPIコストが吹き飛ぶ。」
  3. 「RAGエージェントが検索した複数ドキュメントのチャンク(Chunk)をプロンプト内で結合すると、プレフィックスKVキャッシュが無効化され、最初のトークン生成時間(TTFT)が数秒単位で遅延する。」

人間の脳は物理的に限られた作業記憶(わずか4〜7個のチャンク)しか持たないにもかかわらず、数十年前の記憶を瞬時に引き出し、新たな領域の知識を認知麻痺なく統合することができます。

Stanford CS329A: Self-Improving AI Agentsの**Part 3: エージェントエンジニアリング(Agent Engineering)**第2弾となる本講義では、Agent Memory Architectureを探求し、自律システムに永続的かつ階層的な記憶力を与える3つの主要な抽象化レイヤーを解説します:

  • ソフトウェア制御層 (MemGPT, UC Berkeley 2023): OSの仮想メモリページングを模した階層型メモリ管理
  • ニューラル表現層 (Cartridges, 2025): 自主学習(Self-Study)を通じて大量文書を小型かつモジュール化された連続KVベクトルに蒸留
  • システムインフラ層 (CacheBlend, EuroSys 2025): チャンク間クロスアテンションを選択的に再計算しTTFTを3.3倍短縮するKVキャッシュ融合