모델 교체 주기 11일 시대, Vendor-Agnostic 추상화 계층 설계 전략

Context

급격한 LLM 성능 변화와 짧은 모델 생명주기로 인한 아키텍처 불안정성 심화. 특정 모델 API에 강하게 결합된 Tightly-coupled 구조는 모델 변경 시 비즈니스 로직 전체를 수정해야 하는 높은 마이그레이션 비용 발생.

Technical Solution

• 모델별 특화된 파라미터와 Prompt 형식을 비즈니스 로직에서 분리한 Interface 기반 추상화 설계
• Prompt Template을 외부 설정 파일로 관리하여 모델 교체 시 코드 수정 없이 Configuration 변경만으로 대응하는 구조 채택
• Stable 영역(Tokens, RAG, Embeddings)과 Unstable 영역(API Parameters, Function-calling syntax)을 구분하여 후자만을 추상화 계층 뒤로 배치
• Cloud-native의 유틸리티 추상화 개념을 적용하여 특정 Vendor 종속성을 제거한 Model-agnostic 인프라 구축
• 모델 성능 변화에 유연하게 대응하기 위한 Optionality 확보 중심의 아키텍처 설계