"MemGPT" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

에이전트를 장기적인 파트너나 자율 엔지니어링 동료로 현업에 도입하다 보면, 누구나 다음과 같은 세 가지 심각한 아키텍처적 한계에 직면하게 됩니다:

1. "어제 장시간 논의해 결정한 핵심 아키텍처 결정을 오늘 아침 대화에서 까맣게 잊어버린다."
2. "10만 줄짜리 대형 코드베이스를 100만 토큰 컨텍스트에 통째로 넣었더니, 중간에 위치한 핵심 코드를 놓쳐버리고(Lost-in-the-Middle) 매 턴마다 수 달러의 토큰 비용이 발생한다."
3. "RAG 에이전트가 검색한 여러 문서 청크(Chunk)를 프롬프트에 합칠 때 기존 접두사 캐시(Prefix Cache)가 무효화되어 첫 토큰 생성 시간(TTFT)이 수 초씩 지연된다."

인간의 뇌는 물리적으로 유한한 작업 기억(단 4~7개의 청크)만을 가지면서도, 수십 년 전의 경험을 장기 기억에서 번개처럼 인출해 내며 다양한 지식을 혼선 없이 융합합니다.

Stanford CS329A: Self-Improving AI Agents의 Part 3: 에이전트 엔지니어링(Agent Engineering) 두 번째 시간인 이번 강의에서는 Agent Memory Architecture를 통해 자율 시스템에 영구적이고 계층적인 기억 능력을 부여하는 3대 핵심 추상화 계층을 심층 분석합니다:

• 소프트웨어 제어 계층 (MemGPT, UC Berkeley 2023): 운영체제의 가상 메모리 페이징 기법을 이식한 자율 메모리 관리
• 신경망 표현 계층 (Cartridges, 2025): 자가 학습(Self-Study)을 통해 방대한 문서를 작고 모듈화된 연속 KV 벡터로 증류
• 인프라 시스템 계층 (CacheBlend, EuroSys 2025): 청크 간 교차 어텐션을 선별 복원하여 TTFT를 3.3배 단축하는 선택적 KV 캐시 융합