스키장 슬로프 운영 현황 크롤링을 통한 자동 업데이트 기능 개발 #44
Description
Info
- 스키장 슬로프 운영 현황은 매일 각 스키장 홈페이지에서 업데이트되고 있음
- 매일 수동으로 현황을 업데이트하는 것은 비효율적이기 때문에, 크롤링하여 데이터 자동 업데이트가 필요함
Task
- 스키장 별 슬로프 운영 현황 페이지 크롤링
- weski DB에 적재할 수 있는 형태로 변환
- DB에 데이터 Update
예상되는 이슈
- 슬로프 운영 현황은 스키장 홈페이지 별로 노출 형태가 다 다르기 때문에, 많은 시간이 소요될 것으로 예상 됨
- 운영 현황 업데이트 시간도 정해져있지 않기 때문에 적절한 batch 실행 주기를 판단하기 위해 운영하며 모니터링이 필요함
back-log
- 슬로프 운영 현황 업데이트 batch 실패 시 알림을 받을 수 있는 시스템 구축 필요