LLM Agent 회귀 방지를 위한 CI 기반 Score-Trace 게이트 설계

Context

대부분의 팀이 노트북이나 대시보드를 통한 사후 분석 방식의 Eval을 수행하며 이는 실제 배포 전 결함을 차단하지 못하는 한계가 있음. LLM 모델의 Checkpoint 변경이나 프롬프트 수정으로 인한 비결정적 동작 변화가 코드 리뷰 단계에서 식별되지 않는 구조적 결함 존재.

Technical Solution

• 단순 Score 측정을 넘어 Merge를 차단하는 CI Gate 기반의 테스트 자동화 체계 구축
• Deterministic Check와 Model-as-Judge를 결합한 계층적 Scorer 설계를 통한 검증 효율화
• AgentLens를 활용한 실행 경로(Trace) 기록으로 Score 저하의 근본 원인인 Tool 호출 및 Prompt Interpolation 분석 환경 제공
• Goldens 데이터셋을 버전 관리 시스템(VCS)에 포함하여 입력값의 일관성 유지 및 회귀 테스트 신뢰도 확보
• CI 프로세스 내 non-zero exit code 설정을 통해 품질 기준 미달 시 배포를 강제로 중단하는 파이프라인 구현
• Judge 모델의 버전을 별도로 고정하여 Product 모델 변경으로 인한 검증 도구의 동시 드리프트 현상 방지