피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM Skill-set의 정량적 측정 및 자동 최적화 루프 구현
oh-my-agent: skills now measure and optimize their own utility
AI 요약
Context
단순 추가 방식으로 확장되는 Skill Library의 효용성 검증 부재와 무분별한 증가로 인한 관리 한계 발생. 무분별한 Skill 적재가 전체 시스템 성능에 미치는 영향도를 측정할 수 없는 구조적 결함 존재.
Technical Solution
- treatment vs baseline 비교를 통한 utilityLift 측정 기반의 oma skills eval 도입
- LLM Optimizer가 SKILL.md를 편집하고 검증 셋에서 성능 향상 시에만 반영하는 eval-to-opt 루프 설계
- 특정 Skill 도입이 타 도메인 작업 성능을 저하시키는 Negative-transfer 현상을 감지하는 샘플링 로직 적용
- 라우팅 하이재킹을 유발하는 Black-hole skill 탐지 및 라이브러리 크기에 따른 routing-decay 임계치 경고 시스템 구축
- 1.4k 라인의 거대 파일을 endpoints, normalizers, sources 모듈로 분리하여 소스 핸들러 레지스트리 구조로 전환
- PTY(script(1)) 기반의 서브 에이전트 캡처 방식으로 Headless 환경의 stdout 공백 문제 해결
실천 포인트
1. LLM 프롬프트/스킬 변경 시 반드시 Held-out validation 셋을 통한 성능 회귀 테스트 수행
2. 모듈 비대화 방지를 위해 조건부 로직을 핸들러 레지스트리 패턴으로 전환 검토
3. 시스템 확장 시 개별 기능의 향상이 전체 시스템의 성능 저하(Negative Transfer)를 유발하는지 교차 검증