Token 소모 99% 절감, Knowledge Graph 기반 Codebase 탐색 최적화

Context

AI Coding Agent가 코드베이스 구조 파악을 위해 반복적인 File Read와 Grep 작업을 수행하며 과도한 Token을 소모하는 문제 발생. 파일 시스템 기반의 단순 탐색 방식은 프로젝트 규모가 커질수록 Context Window 낭비와 응답 속도 저하를 초래하는 구조적 한계 보유.

Technical Solution

• Tree-sitter 기반의 정적 분석을 통해 함수, 클래스, 호출 체인 간의 관계를 Knowledge Graph로 인덱싱하는 구조 설계
• LZ4 압축과 In-memory SQLite를 활용한 RAM-first 파이프라인 구축으로 대규모 레포지토리 인덱싱 속도 최적화
• MCP(Model Context Protocol) 인터페이스를 통해 LLM이 파일 전체를 읽지 않고 Graph Query로 구조적 질문에 즉시 응답하는 메커니즘 구현
• LSP-style Hybrid Type Resolution을 도입하여 Go, TS/JS 등 주요 언어의 정밀한 타입 추론 및 파라미터 바인딩 처리
• zstd 압축 기반의 Graph Snapshot 공유 기능을 통해 팀 단위의 중복 인덱싱 비용을 제거한 Incremental Diff 방식 적용

Impact

• 구조적 쿼리 수행 시 Token 소모량 412,000개에서 3,400개로 약 99% 감소
• Linux Kernel(2,800만 라인) 기준 인덱싱 완료까지 약 3분 소요
• Django 규모 프로젝트의 경우 약 6초 내 인덱싱 완료 및 1ms 미만의 쿼리 응답 속도 달성

Key Takeaway

LLM의 추론 능력에 의존하기 전, 정적 분석을 통한 구조화된 Metadata Layer를 먼저 구축함으로써 Context 효율성과 응답 정밀도를 동시에 확보하는 설계 전략