Stanford CS329A (第11回): Agent Memory — 長短期記憶とOS型階層メモリ (MemGPT, Cartridges, CacheBlend)
· 約15分
自律型AIエージェントを長期的な開発パートナーや自律エンジニアとして実務に導入すると、誰もが次の3つの深刻な構造的ボトルネックに直面します:
- 「昨日時間をかけて議論し決定した重要なアーキテクチャ方針を、今朝のセッションで完全に忘れてしまう。」
- 「10万行の大規模コードベースを100万トークンのコンテキストウィンドウに丸ごと投入すると、途中の重要コードを見落とし(Lost-in-the-Middle現象)、1ターンごとに数ドルのAPIコストが吹き飛ぶ。」
- 「RAGエージェントが検索した複数ドキュメントのチャンク(Chunk)をプロンプト内で結合すると、プレフィックスKVキャッシュが無効化され、最初のトークン生成時間(TTFT)が数秒単位で遅延する。」
人間の脳は物理的に限られた作業記憶(わずか4〜7個のチャンク)しか持たないにもかかわらず、数十年前の記憶を瞬時に引き出し、新たな領域の知識を認知麻痺なく統合することができます。
Stanford CS329A: Self-Improving AI Agentsの**Part 3: エージェントエンジニアリング(Agent Engineering)**第2弾となる本講義では、Agent Memory Architectureを探求し、自律システムに永続的かつ階層的な記憶力を与える3つの主要な抽象化レイヤーを解説します:
- ソフトウェア制御層 (MemGPT, UC Berkeley 2023): OSの仮想メモリページングを模した階層型メモリ管理
- ニューラル表現層 (Cartridges, 2025): 自主学習(Self-Study)を通じて大量文書を小型かつモジュール化された連続KVベクトルに蒸留
- システムインフラ層 (CacheBlend, EuroSys 2025): チャンク間クロスアテンションを選択的に再計算しTTFTを3.3倍短縮するKVキャッシュ融合
