Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow
| dc.contributor.advisor | Albuquerque Júnior, Gabriel Alves de | |
| dc.contributor.advisorLattes | http://lattes.cnpq.br/1399502815770584 | |
| dc.contributor.author | Silva, Henrique César José da | |
| dc.date.accessioned | 2024-07-02T10:48:25Z | |
| dc.date.available | 2024-07-02T10:48:25Z | |
| dc.date.issued | 2023-09-21 | |
| dc.degree.departament | Estatística e Informática | |
| dc.degree.graduation | Bacharelado em Sistemas de Informação | |
| dc.degree.grantor | Universidade Federal Rural de Pernambuco | |
| dc.degree.level | Graduacao | |
| dc.degree.local | Recife | |
| dc.description.abstract | Este estudo apresenta uma abordagem prática para a construção de pipelines de dados voltados à coleta, transformação e armazenamento de informações relacionadas a obras públicas no estado de Pernambuco. O objetivo central é desenvolver fluxos de trabalho eficientes e automatizados para a extração de dados a partir de portais de transparência públicos, e a subsequente consolidação dessas informações. Com base em tecnologias de Engenharia de Dados, o framework Apache Airflow foi selecionado para a orquestração dos processos, permitindo o agendamento e monitoramento dos fluxos de trabalho. | |
| dc.description.abstractx | This study presents a practical approach to building data pipelines focused on collecting, transforming, and storing information related to public works in the state of Pernambuco. The central objective is to develop efficient and automated workflows for extracting data from public transparency portals and subsequently consolidating this information. Based on Data Engineering technologies, the Apache Airflow framework was chosen to orchestrate the processes, enabling the scheduling and monitoring of these workflows. | |
| dc.format.extent | 42 f. | |
| dc.identifier.citation | SILVA, Henrique César José da. Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow. 2023. 42 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Departamento de Estatística e Informática, Universidade Federal Rural de Pernambuco, Recife, 2023. | |
| dc.identifier.darkflstrmv | https://n2t.net/ark:/57462/001300000gbdm | |
| dc.identifier.uri | https://repository.ufrpe.br/handle/123456789/5846 | |
| dc.language.iso | por | |
| dc.publisher.country | Brasil | |
| dc.rights | openAccess | |
| dc.rights.license | ATRIBUIÇÃO 4.0 INTERNACIONAL (CC BY 4.0) | pt_BR |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | |
| dc.subject | Armazenamento de dados | |
| dc.subject | Obras públicas | |
| dc.subject | Transparência na administração pública | |
| dc.subject | Fluxo de dados (Computadores) | |
| dc.subject | Automação | |
| dc.subject | Fluxo de trabalho | |
| dc.title | Construção de pipelines de dados sobre obras públicas em Pernambuco: abordagem prática com o Apache Airflow | |
| dc.type | bachelorThesis |