Albuquerque Júnior, Gabriel Alves deSilva, Henrique César José da2024-07-022024-07-022023-09-21SILVA, Henrique César José da. Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow. 2023. 42 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Departamento de Estatística e Informática, Universidade Federal Rural de Pernambuco, Recife, 2023.https://repository.ufrpe.br/handle/123456789/5846Este estudo apresenta uma abordagem prática para a construção de pipelines de dados voltados à coleta, transformação e armazenamento de informações relacionadas a obras públicas no estado de Pernambuco. O objetivo central é desenvolver fluxos de trabalho eficientes e automatizados para a extração de dados a partir de portais de transparência públicos, e a subsequente consolidação dessas informações. Com base em tecnologias de Engenharia de Dados, o framework Apache Airflow foi selecionado para a orquestração dos processos, permitindo o agendamento e monitoramento dos fluxos de trabalho.This study presents a practical approach to building data pipelines focused on collecting, transforming, and storing information related to public works in the state of Pernambuco. The central objective is to develop efficient and automated workflows for extracting data from public transparency portals and subsequently consolidating this information. Based on Data Engineering technologies, the Apache Airflow framework was chosen to orchestrate the processes, enabling the scheduling and monitoring of these workflows.42 f.poropenAccesshttps://creativecommons.org/licenses/by/4.0/Armazenamento de dadosObras públicasTransparência na administração públicaFluxo de dados (Computadores)AutomaçãoFluxo de trabalhobachelorThesisATRIBUIÇÃO 4.0 INTERNACIONAL (CC BY 4.0)