피드로 돌아가기
Dev.toBackend
원문 읽기
조합 최적화와 캐싱 전략을 통한 AI 모델 비교 페이지 구축 및 비용 효율화
How I built pairwise AI model compare pages with Claude Haiku and a budget cap
AI 요약
Context
200개 모델의 전수 비교 시 발생하는 약 19,900개의 조합으로 인한 과도한 API 비용과 빌드 시간 증가 문제 직면. SSG 기반 정적 페이지 생성 구조에서 모든 조합을 사전 계산하기에는 리소스 제약이 큼.
Technical Solution
- pipeline_tag 기반 그룹화 및 다운로드 수 상위 4개 모델 선별을 통한 조합 수의 기하급수적 감소 설계
- COMPARE_LIMIT 환경 변수를 통한 전체 생성 쌍의 상한선 설정으로 API 예산 통제
- 모델 식별자 알파벳 정렬 및 구분자 결합을 통한 결정론적 pair_slug 생성으로 ETL Idempotency 구현
- system-prompt caching 적용으로 동일 스키마 요청 시 prefix 토큰 비용 최소화
- 정규 표현식 기반 JSON fence 추출 로직을 통해 LLM의 비정형 응답으로 인한 파싱 에러 방지
- Request-time Edge Function 대신 nightly batch precomputation 채택으로 지연 시간 및 비용 절감
실천 포인트
1. LLM API 비용 절감을 위해 system prompt caching 및 입력 텍스트 truncation 적용 검토
2. LLM 출력의 불안정성을 해결하기 위해 단순 파싱 대신 Regex 기반 데이터 추출 레이어 도입
3. API 호출 결과의 중복 방지를 위해 데이터 식별자를 정렬하여 결정론적 키 생성
4. 실시간성이 낮고 읽기 비중이 높은 데이터는 Edge Function보다 SSG 사전 계산 방식 우선 고려