피드로 돌아가기
Dev.toBackend
원문 읽기
데이터 정확도와 개발 속도 Trade-off 기반 Bali 항공권 추적 시스템 설계
Cheap Flights Bali: SerpApi vs Amadeus vs Scraping for Australia-Bali Fare Tracking
AI 요약
Context
호주-발리 노선의 빈번한 가격 변동과 다수 도시-날짜 조합으로 인한 수동 모니터링의 한계 발생. 단순 Web Scraping 시 발생하는 DOM 변경 대응 비용과 봇 탐지 메커니즘으로 인한 유지보수 부하가 주요 병목 지점으로 작용.
Technical Solution
- 프로토타이핑 속도 극대화를 위해 Google Flights 데이터를 Mirroring하는 SerpApi 도입
- 실시간 예약 가능 여부와 데이터 정밀도 확보를 위해 GDS 기반 Amadeus Self-Service API 채택
- API Quota 최적화를 위해 항공사 인벤토리 업데이트 주기에 맞춘 일일 1회 폴링(Polling) 전략 수립
- IATA 인증 없이 구조화된 JSON 데이터를 빠르게 확보하기 위한 API 기반 추상화 계층 설계
- 유지보수 비용 절감을 위해 깨지기 쉬운 Scraping 방식 배제 및 ToS 준수 API 환경 구축
Impact
- SerpApi 도입을 통한 초기 통합 시간 15분으로 단축
- Amadeus Free Tier 활용 시 월 2,000회 요청 제한 내에서 5개 도시 다중 날짜 스윕 가능
실천 포인트
- 빠른 PoC가 필요하다면 Search Engine Mirror API(SerpApi 등)를 우선 검토 - 상용 서비스의 데이터 신뢰성이 핵심이라면 GDS(Amadeus 등) 직접 연동 설계 - 외부 사이트 Scraping 시 DOM 변경에 따른 유지보수 비용이 API 구독 비용을 초과하는지 정량적 비교 - 외부 API 폴링 주기 설계 시 대상 시스템의 데이터 업데이트 배치 주기를 먼저 분석