Scrapers

[RodolfoFerro]

Issue correspondiente al hilo de desarrollo de scrapers de la SS con informes de casos en México.

Acá mismo comentamos qué tecnologías se decide utilizar y el esquema de salida para poder trabajar la API.

[jesusmartinoza]

Buenas noticias: El gobierno sigue manteniendo el reporte diario en PDF 🎉 😄 Ya no hace la re-dirección que hacia antes el sitio.

https://www.gob.mx/salud/documentos/coronavirus-covid-19-comunicado-tecnico-diario-238449

[rnovec]

Hola, si necesitan ejecutar tareas periodicamente para extrear la información cada determinado tiempo se puede integrar Django + Celery. Espero pueda apoyar de esa manera. Saludos 🤘

[RodolfoFerro]

Qué onda @RaulNovelo, me parece que justo para los cron jobs @jesusmartinoza ya tiene algo armado, estará bueno si te quieres unir a Jesús y a @jjcordova para revisar el tema del scraping, ellos van a estar armando scrapers de aquí al fin de semana para intentar tener ya algo funcional para entonces. Ya sea que se comuniquen por acá o para más directo en el Slack: http://slack.codeandomexico.org

[RodolfoFerro]

Btw, @jesusmartinoza si mantienen el schema que ya tenías, podemos ir estructurando la API. 👌
En caso de que sea así, nos rolas el schema y vamos viendo cómo quedan los endpoints. 👍

[jesusmartinoza]

@RaulNovelo Ahora para las tareas periódicas tengo un cronjob ejecutando un script con Django Extensions. Le echaré un vistazo a Django + Celery.

@RodolfoFerro La base de datos la tengo con este modelo. Para CodeandoMexico se me ocurre manejar archivos CSV así:

states.csv

id	name	longitude	latitude

cases.csv

id	state_id	sex	age	symptoms_date	origin_country	status(0=Sospechoso, 1=Confirmado)	enter_to_mexico_date (?)

Para el caso de los decesos está tricky porque el gobierno quita los casos de los reportes 🤔

[rnovec]

Perfecto! I'm in 🚀 justo estoy trabajando en unos bots pero con scrapy. Si pueden abrir un canal relacionado a esto seria genial @RodolfoFerro @jesusmartinoza @jjcordova

[rnovec]

@jesusmartinoza te puedo hacer un PR con la configuración de Celery y lo revisas cuando vayas a integrar a tu nueva estructura, y anexo una task para ejecutar tu script

[jesusmartinoza]

@RaulNovelo ¡Wow! ¡Sería genial! Ya estuve viendo Celery y ya me gusta más que Crontab jaja EDIT: Me agrada lo que dices de pasarnos a Slack, así no spammeamos el issue