5M 파라미터 Recursive 모델, Latent Space 추론으로 CoT 대비 100배 속도 달성

Context

Autoregressive LLM의 Chain-of-Thought(CoT) 방식은 추론 단계마다 토큰을 생성하여 순차적 연산 비용과 메모리 부하를 가중시킴. 특히 Transformer의 Quadratic compute cost로 인해 긴 추론 체인 생성 시 API 비용 및 컨텍스트 제한 문제가 발생함.

Technical Solution

• Latent Space Reasoning 도입을 통한 중간 텍스트 토큰 생성 단계 제거
• Weight-sharing 기반의 Recursive 구조 설계로 파라미터 수를 5~27M 수준으로 최소화
• Implicit Differentiation 적용으로 BPTT의 Gradient 문제를 해결하고 메모리 사용량을 상수로 유지
• Gaussian Noise 주입 및 Q-head 기반의 Probabilistic TRM 설계를 통한 Local Optima 탈출 및 조기 종료 구현
• Fixed Point를 분석적으로 해결하는 Attractor Model 구조로 Iteration 과정의 효율성 극대화
• RecursiveMAS 설계를 통한 Multi-agent 간 Latent Representation 기반 통신 구현

Impact

• Sudoku-Extreme 태스크에서 DeepSeek-R1(0%) 대비 Probabilistic TRM(98.75%) 성능 압도
• Pencil Puzzle Bench 기준 Frontier LLM(55.1%) 대비 Probabilistic TRM(91.2%) 정확도 향상
• CoT 대비 100배의 추론 속도 향상 및 토큰 생성량 75% 감소
• Frontier LLM 대비 0.0001배 미만의 비용으로 동등 이상의 추론 성능 확보

Key Takeaway

추론의 외부화(Tokenization) 없이 내부 잠재 공간(Latent Space)에서의 반복적 정제(Iterative Refinement)를 통해 모델 규모와 무관하게 고난도 논리 문제를 해결할 수 있음을 증명함.