Objetivo

O objetivo desse desafio é avaliar sua capacidade de projetar e implementar um pipeline de dados usando um ambiente Azure Cloud similar ao que você vai atuar no projeto. O pipeline deve ser capaz de coletar, processar e armazenar dados de diferentes fontes em um data lake.

Instruções

As instruções para conexão a Virtual Machine do desafio e o prazo final para entrega serão enviados por e-mail. Para o desenvolvimento do desafio:

• Você deve usar o Azure Cloud para criar um pipeline de dados que colete dados de notas fiscais eletrônicas (NFe) de um blob storage. As NFes também se encontram dentro do diretório notas/ deste repositório. Caso você não consiga extrair do blob storage, poderá ler diretamente do sistema de arquivos da VM (será necessário fazer o upload dos arquivos ou clonar o repositório na VM).
• Você deve documentar os campos das notas fiscais. Essa documentação é crucial para o sucesso do projeto.
• O pipeline deve incluir etapas de limpeza e transformação de dados, bem como validação de dados para garantir precisão e confiabilidade.
• A utilização de mensageria para garantir a entrega dos dados de forma segura e rápida, é altamente recomendada pois será utilizada no projeto, porém não obrigatória.
• O uso de Kubernetes e Docker também é opcional, mas será considerado um diferencial se utilizado.
• O pipeline deve ser documentado e testado para garantir a facilidade de manutenção e escalabilidade.
• Você deve entregar o código fonte e a documentação do pipeline, bem como uma demonstração do pipeline em funcionamento.

Nota: Não é necessário que você tenha experiência trabalhando com NFe, mas se tiver, é um diferencial.

Avaliação

• Você será avaliado com base na qualidade do pipeline de dados criado, incluindo sua precisão, confiabilidade e escalabilidade.
• Sua capacidade de documentar os diferentes tipos de NFe será avaliada.
• Sua capacidade de usar tecnologias como Azure Cloud e mensageria (opcional) será avaliada.
• O uso de Kubernetes e Docker será considerado como um diferencial.
• Sua capacidade de escrever código eficiente e documentar o pipeline será avaliada.
• Sua capacidade de trabalhar em equipe e comunicar-se eficazmente será avaliada a partir da demonstração e entrega do desafio.