Hallucination 제거 및 데이터 최신성 확보를 위한 RAG 파이프라인 설계

Context

LLM의 학습 데이터 기반 답변 방식은 최신 정보 반영이 불가능하며 근거 없는 환각 현상을 야기함. 단순 Keyword Search 방식은 의미적 유사성 파악 불가로 인해 정보 검색의 낮은 재현율(Recall) 문제를 가짐.

Technical Solution

• Embedding 기반 Vector Space 매핑을 통한 의미론적 유사도 검색 체계 구축
• Retrieval-Augmentation-Generation 3단계 프로세스 설계를 통한 답변 근거의 명시적 제공
• Chunking 전략을 통한 방대한 문서를 LLM 컨텍스트 윈도우 크기에 최적화하여 전달
• Vector Database(pgvector) 도입을 통한 고차원 벡터 데이터의 효율적 인덱싱 및 검색
• LLM System Prompt 제어를 통한 제공된 컨텍스트 기반 답변 강제 및 근거 인용 구조 설계
• Redis Caching 계층 추가를 통한 반복 쿼리에 대한 응답 지연 시간 단축