피드로 돌아가기
Dev.toAI/ML
원문 읽기
ElevenLabs ConvAI 기반 18개 동적 변수 및 4종 Tool Callback 구현을 통한 실시간 Voice Agent 구축
AI Called Me Back — Recoverflow Dev Diary Day 2: Two Hours with the Voice Agent
AI 요약
Context
단방향 음성 알림의 한계로 인한 고객 경험 저하 및 비즈니스 관계 훼손 리스크 존재. 실제 수금(Collections) 상황의 민감도를 고려하여 단순 정보 전달이 아닌 실시간 상호작용이 가능한 Two-way Communication 구조 필요성 제기.
Technical Solution
- ElevenLabs Conversational AI 채택을 통한 실시간 음성 인터랙션 인터페이스 구축
- 18개의 Dynamic Variables를 Prompt에 주입하여 고객사명, 미납 금액 등 케이스별 맞춤형 컨텍스트 제공
- Webhook 기반의 4종 Tool Callback 설계로 log_excuse, propose_payment_date 등 실시간 데이터 업데이트 및 상태 변경 로직 구현
- Voice ID(EXAVITQu4vr4xnSDxMaL) 선정을 통한 전문성과 신뢰감을 주는 브랜드 페르소나 일관성 유지
- 실제 인간의 비정형 응답 패턴 분석을 통한 Prompt Edge Case 보완 및 반복적 시뮬레이션 수행
실천 포인트
- Voice Agent 설계 시 단순 TTS/STT 조합보다 Low-latency Conversational AI 플랫폼의 Dynamic Variable 활용 검토 - LLM의 판단을 실제 시스템 액션으로 연결하기 위한 Webhook 기반 Tool Callback 아키텍처 설계 - 시뮬레이터가 아닌 실제 도메인 전문가의 Human-in-the-loop 테스트를 통한 Edge Case 발굴 및 Prompt 튜닝