Corrigir/atualizar esquema da tabela obitos_cartorio

[augusto-herrmann]

Recentes atualizações quebraram os testes automatizados de validação de dados. Especificamente, as colunas do arquivo obitos_cartorio.csv não correspondem mais ao que está no esquema.

É necessário fazer atualizações no esquema para refletir a nova estrutura dessa tabela.

[endersonmaia]

identifiquei que o arquivo obito_cartorio.csv conta apenas com os campos a seguir :

date
state
new_deaths_pneumonia_2019
new_deaths_pneumonia_2020
new_deaths_respiratory_failure_2019
new_deaths_respiratory_failure_2020
new_deaths_covid19
epidemiological_week_2019
epidemiological_week_2020
deaths_covid19
deaths_respiratory_failure_2019
deaths_respiratory_failure_2020
deaths_pneumonia_2019
deaths_pneumonia_2020

é isso mesmo @turicas ?

pois não tá de acordo com :

• https://github.com/turicas/covid19-br/blob/master/schema/obito_cartorio.csv
• https://github.com/turicas/covid19-br/blob/master/datapackage.json

[endersonmaia]

também não condiz com o disponibilizado em https://brasil.io/dataset/covid19/obito_cartorio/

acredito ser uma falha na geração do arquivo obito_cartorio.csv

[turicas]

@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.

[endersonmaia]

@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.

roda um make docker-validate aí

tô longe do PC agora

[endersonmaia]

@endersonmaia pode verificar agora, baixando de https://data.brasil.io/dataset/covid19/obito_cartorio.csv.gz ? Parece que deu algum problema no spider, estou checando.

continua dando erro, não por causa da quantidade de campos mais, mas pela ordem dos campos

a ordem dos campos no arquigo data/output/obito_cartorio.csv não tá respeitado a ordem definida em schema/obito_cartorio.csv, que é a mesma seguida no datapackage.json

se corrigir a ordem, o validate vai passar

o fix que eu imaginei, seria corrigir a ordem dos campos em datapackage.json e schema/obito_cartorio.csv, mas não me parece o correto

[augusto-herrmann]

Deixo aqui um comentário só para lembrar que o problema permanece até hoje. Os dados não estão validando.

@turicas, já que você implementou essa mudança nos dados em julho, poderia corrigir? Precisa de ajuda?

[augusto-herrmann]

Vocês também recebem essas notificações de que a build falhou?

[endersonmaia]

Vocês também recebem essas notificações de que a build falhou?

Não tenho recebido, mas tb não recordo de ter configurado para não receber. 🤔

[augusto-herrmann]

Não tenho recebido, mas tb não recordo de ter configurado para não receber. thinking

Eu recebo todos os dias. Eu poderia ir lá corrigir a tabela, mas o tempo é escasso e fico com o receio do Turicas alterá-la de novo e o trabalho ser em vão...

[augusto-herrmann]

O meu ponto é: se a build está dando falha há meses e até hoje ninguém investiu o tempo em corrigir, significa que ter essa verificação automática não está servindo ao seu propósito.