Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
AO ABRIR um Pull Request de um novo raspador (spider), marque com um
X
cada um dos items do checklistabaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.
Checklist - Novo spider
start_date
eend_date
definidos) ao menos uma vez e os dados retornados estavam corretos.log_count/ERROR
igual a zero).start_date
no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.Descrição
A data inicial de publicação foi descoberta na força bruta, colocando a data inicial em 2009 e tendo o primeiro arquivo baixado apenas em 10/04/2014.
Esqueci de salvar o log, mas executei a raspagem completa localmente algumas vezes sem maiores problemas e tudo foi devidamente processado pelo data-processing local.
Estou adicionando uma entrada no
territories.csv
para a associação. Não necessariamente ficará lá, mas por enquanto é necessário para reproduzir o processamento de dados localmente (a inserção também já foi feita no banco de produção).Não mesclar esse PR antes de okfn-brasil/querido-diario-data-processing#64 ser mesclado