피드로 돌아가기
Dev.toAI/ML
원문 읽기
Encoder-Decoder Attention의 Value Scaling 및 가중치 재사용 구조 분석
Understanding Transformers Part 15: Scaling and Combining Values in Encoder–Decoder Attention
AI 요약
Context
입력 단어별 기여도 산출 이후 이를 실제 Value Vector와 결합하는 과정의 필요성 제기. Self-Attention과 구분되는 Encoder-Decoder Attention만의 독립적인 가중치 집합 운용 구조 분석.
Technical Solution
- Softmax 확률값을 Scaling Factor로 활용한 Value Vector의 가중 합산 수행
- Self-Attention과 분리된 독립적 Query, Key, Value 가중치 셋 적용을 통한 역할 분리
- 입력 및 출력 길이 변화에 유연하게 대응하기 위한 가중치 복제 및 재사용 메커니즘 채택
- 복잡한 구문 처리 능력 향상을 위한 Encoder-Decoder Attention Layer의 수직적 적층 구조 설계
실천 포인트
1. 입력/출력 시퀀스 길이가 가변적인 시스템 설계 시 가중치 공유(Weight Sharing) 메커니즘 검토
2. 서로 다른 도메인의 정보 결합 시 독립적인 Projection Matrix를 사용하여 특성 공간 분리
3. 모델의 표현력 확장이 필요할 때 동일 구조의 Layer Stack 가능 여부 확인