피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: VLM은 한국 공공기관 문서를 얼마나 잘 읽을까? KOLongDoc 벤치마크 공개
한국어 공공기관 Long-Document 분석을 위한 KOLongDoc 벤치마크 공개
AI 요약
Context
기존 한국어 VLM 벤치마크의 OCR 및 단일 이미지 이해 중심 평가 체계로 인한 한계 발생. 수십 페이지 분량의 고해상도 문서 및 페이지 간 정보 연결이 필요한 Multi-hop 추론 능력 측정 도구 부재.
Technical Solution
- 한국 공공기관 실제 문서 기반의 고해상도 데이터셋 구축을 통한 실효성 확보
- Multi-page 및 Multi-hop QA 설계를 통한 문서 전반의 Long-context 이해도 측정
- 단순 텍스트 추출을 넘어선 시각적 구조와 문맥 연결 능력을 평가하는 벤치마크 로직 구현
- 국내외 VLM의 성능 객관화를 위한 총 200개의 정밀 평가 문항 구성
- Hugging Face 및 GitHub 오픈소스로 공개하여 모델 평가의 표준성 제공
실천 포인트
VLM 도입 시 단일 페이지 인식률 외에 Multi-hop 추론 능력과 Long-context 처리 용량을 반드시 검증할 것