Gemma 4 12B: 통합형 인코더 없는 멀티모달 모델

Context

기존 멀티모달 모델은 이미지와 오디오 처리를 위해 별도의 전용 인코더를 사용함. 이 구조는 인코더와 LLM 백본 간의 데이터 전달 과정에서 지연 시간이 증가하며 메모리 사용량을 확대하는 병목 지점으로 작용함.

Technical Solution

• 별도 멀티모달 인코더를 배제하고 입력 신호를 LLM 백본에 직접 전달하는 통합 아키텍처 채택
• 비전 처리를 위해 기존 인코더를 단일 행렬 곱셈, 위치 임베딩, 정규화 기반의 경량 임베딩 모듈로 대체하여 LLM 백본이 시각 정보 처리를 직접 수행
• 오디오 인코더를 완전히 제거하고 원시 오디오 신호를 텍스트 토큰과 동일한 차원 공간으로 직접 투영하는 방식 적용
• Multi-Token Prediction(MTP) drafters를 도입하여 추론 시 발생하는 지연 시간 단축
• 16GB RAM/VRAM 환경의 소비자용 노트북 내 로컬 실행을 위한 메모리 풋프린트 최적화 설계

Impact

• 전체 메모리 사용량을 26B MoE 모델 대비 50% 미만으로 절감
• 소비자용 12GB VRAM 카드 기준 4비트 양자화 모델에서 초당 5토큰 이상의 출력 속도 확보
• 독일어 벤치마크 기준 0.618 점수를 기록하며 Qwen 3 14B(0.621) 수준의 성능 달성