Continual Training 유연성 확보를 위한 Multi-Step LR Scheduler 도입

Context

LLM 학습의 표준인 Cosine Decay는 학습 종료 시점의 LR이 0에 수렴하는 구조적 특성을 가짐. 이로 인해 추가 데이터 학습이나 학습 기간 연장 시 기존 스케줄러를 완전히 재설계해야 하는 운영상 제약 발생.

Technical Solution

• LR을 계단식으로 급격히 하강시키는 Multi-Step Scheduling 구조 채택
• 80%/10%/10% 비율의 단계적 LR 배분을 통한 학습 효율 최적화
• 고정된 LR 구간 설정을 통한 추가 컴퓨팅 자원 확보 시 Stage 1 연장 가능 구조 설계
• 최적화의 핵심인 초기 High LR 구간 유지로 Cosine Decay와 유사한 최종 모델 성능 확보
• 학습 중단 및 재개 시 스케줄러 재설계 없이 유연하게 학습 토큰 수 확장 가능 환경 구축