Stanford CS329A (Ép 11) : Agent Memory — MemGPT, Cartridges, CacheBlend et architecture de contexte hiérarchique
Lorsque des développeurs déploient des agents IA autonomes comme partenaires d'ingénierie logicielle au long cours, ils se heurtent immanquablement à trois goulets d'étranglement architecturaux majeurs :
- « L'agent oublie totalement des décisions d'architecture cruciales arrêtées lors de la session d'hier. »
- « Injecter une base de code de 100 000 lignes dans une fenêtre de contexte d'un million de tokens provoque une dégradation sévère de l'attention (phénomène Lost-in-the-Middle) et gonfle les factures d'API à des milliers de dollars. »
- « Lors de la fusion de multiples fragments de documents (chunks) dans un système RAG, les caches clé-valeur (KV) de préfixe sont invalidés, faisant bondir le délai d'émission du premier token (TTFT) à plusieurs secondes. »
La cognition humaine résout cette équation avec brio : le cerveau biologique ne possède qu'une mémoire de travail physique infime (de 4 à 7 éléments discrets), mais extrait instantanément des souvenirs vieux de plusieurs décennies et intègre des savoirs interdisciplinaires sans paralysie mentale.
Dans cette suite de la Partie 3 : Ingénierie des Agents de Stanford CS329A : Self-Improving AI Agents, nous analysons en profondeur l'Agent Memory Architecture — la manière dont l'intelligence artificielle confère aux systèmes autonomes une mémoire persistante et hiérarchisée à travers trois paliers d'abstraction :
- Palier de Contrôle Logiciel (MemGPT, UC Berkeley 2023) : Pagination hiérarchique de mémoire virtuelle calquée sur les systèmes d'exploitation.
- Palier de Représentation Neuronale (Cartridges, 2025) : Distillation de contexte par auto-apprentissage (Self-Study) compressant des documents massifs en vecteurs KV continus modulaires.
- Palier d'Infrastructure Système (CacheBlend, EuroSys 2025) : Recalcul sélectif de cache KV rétablissant l'attention croisée et divisant la latence RAG par 3,3.