피드로 돌아가기
Dev.toAI/ML
원문 읽기
Local Dreaming 기반 메모리 최적화로 Recall@1 84.6% 달성
My AI agents spend 10 minutes every night rewriting their own memory.
AI 요약
Context
Context Window 초기화로 인한 AI Agent의 기억 상실과 단순 Storage 방식의 데이터 누적으로 인한 Retrieval 성능 저하 발생. 메모리 데이터 증가에 따라 Recall 성능이 80%에서 40%로 급감하는 'Junk Drawer' 문제 직면.
Technical Solution
- Cron 기반 Scheduler를 통한 유휴 시간대 Reflection Cycle 실행 구조 설계
- Utility Score 기반의 저효율 메모리 Pruning 및 Similarity 0.92 이상의 중복 데이터 Merge 로직 구현
- 장기 미사용 데이터를 분리하는 Archiving 프로세스를 통한 Active Memory 집합의 밀도 유지
- Cosine Similarity 기반의 관련 사실 간 Linkage 구축으로 단순 검색을 넘어선 연관 정보 추론 기능 강화
- Local-first 아키텍처 채택으로 API Key 및 데이터의 사용자 로컬 제어권 확보
- 384-dim Embedding 모델을 활용한 저지연 벡터 검색 환경 구축
실천 포인트
1. Vector DB 도입 시 데이터 증가에 따른 Recall 하락 지점을 측정하고 Pruning 전략 수립
2. LLM의 유휴 시간을 활용한 자체 데이터 정제(Self-reflection) 파이프라인 검토
3. 중복 데이터 제거를 위한 Similarity Threshold 설정 및 Merge 로직 구현