Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow
Data
2023-09-21
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Resumo
This study presents a practical approach to building data pipelines focused on collecting, transforming, and storing information related to public works in the state of Pernambuco. The central objective is to develop efficient and automated workflows for extracting data from public transparency portals and subsequently consolidating this information. Based on Data Engineering technologies, the Apache Airflow framework was chosen to orchestrate the processes, enabling the scheduling and monitoring of these workflows.
Descrição
Este estudo apresenta uma abordagem prática para a construção de pipelines de dados voltados à coleta, transformação e armazenamento de informações relacionadas a obras públicas no estado de Pernambuco. O objetivo central é desenvolver fluxos de trabalho eficientes e automatizados para a extração de dados a partir de portais de transparência públicos, e a subsequente consolidação dessas informações. Com base em tecnologias de Engenharia de Dados, o framework Apache Airflow foi selecionado para a orquestração dos processos, permitindo o agendamento e monitoramento dos fluxos de trabalho.
Palavras-chave
Armazenamento de dados, Obras públicas, Transparência na administração pública, Fluxo de dados (Computadores), Automação, Fluxo de trabalho
Referência
SILVA, Henrique César José da. Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow. 2023. 42 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Departamento de Estatística e Informática, Universidade Federal Rural de Pernambuco, Recife, 2023.
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como openAccess