최소 유효 컨텍스트 설계를 통한 AI 비용 절감 및 응답 정확도 최적화

Context

LLM 기반 코딩 에이전트 운영 시 무분별한 컨텍스트 주입으로 인한 Token 소모량 급증 및 비용 상승 문제 발생. 대규모 Context Window 제공에도 불구하고 정보 노이즈 증가에 따른 모델의 집중력 저하 및 추론 속도 감소라는 트레이드오프 존재.

Technical Solution

• Input/Output Token의 단가 차이(최대 8배)를 고려한 Output 길이 최적화 전략 수립
• 전체 저장소 대신 오류 메시지, 특정 파일 경로, 관련 테스트 케이스만 전달하는 Focused Prompting 도입
• AGENTS.md 등 프로젝트 가이드라인의 모듈화를 통한 세션별 초기 로드 텍스트 최소화
• Terminal Log 및 Diff 등 정형/비정형 데이터에서 핵심 에러 메시지만 추출하는 token-optimizer 필터링 계층 구축
• 단일 거대 에이전트 구조에서 작업 도메인별 분리된 전용 에이전트 아키텍처로 전환하여 컨텍스트 분리
• 전역 규칙은 최소화하고 필요 시에만 심층 문서를 로드하는 On-demand Context Loading 방식 적용