피드로 돌아가기
Hacker NewsAI/ML
원문 읽기
Claude Fable 5: 59.8% FuncPass 달성 및 4건의 신규 취약점 해결 성과
Claude Fable 5: mid-tier results on coding tasks
AI 요약
Context
Anthropic의 Mythos-class 모델인 Fable 5를 활용해 실세계의 보안 취약점 수정 능력을 평가함. 기존 벤치마크가 공격적 시나리오(Exploit)에 치중된 반면, 실제 프로덕션 코드의 안정적 수정 능력을 검증하는 환경을 구축함.
Technical Solution
- Extended Thinking 메커니즘 적용을 통한 복잡한 추론 과정 수행
- CVE-2023-27494 등 고난도 취약점 해결을 위한 입력 벡터 차단 로직 설계
- jwcrypto DoS 방지를 위한 Compressed Payload Size 캡핑(256 KB) 적용
- lxml XSS 방지를 위한 SVG/XML 이미지 타입 필터링 및 마스킹 방어 체계 재구축
- Scrapy-Splash 인증 정보 유출 방지를 위한 Request 헤더 제어 로직 구현
- 훈련 데이터 기반의 Training Recall을 통한 업스트림 패치 재현 방식 활용
실천 포인트
1. LLM 기반 보안 패치 적용 시, 훈련 데이터 암기에 의한 단순 복제인지 논리적 추론 결과인지 검증하는 프로세스 구축
2. 추론 시간이 긴 모델 도입 시, 시스템 Timeout 임계값 최적화 및 부분 결과물(Partial Predictions) 활용 방안 검토
3. 보안 패치 자동화 도구 설계 시, 단순히 수정 여부만 확인하지 않고 기능 보존(FuncPass)과 보안성(SecPass)을 분리하여 측정