Extração, transformação e carga de dados sobre compras da Prefeitura de Florianópolis usando Airflow

Abstract

Um fluxo de trabalho (workflow) especifica um processo envolvendo encadeamento de tarefas e fluxo de informações entre elas para alcançar um objetivo de negócio. A orquestração de um workflow automatiza e gerencia a execução de uma instância de processo de acordo com a especificação do workflow, usando um software de orquestração. O orquestrador invoca recursos humanos e/ou de TI apropriados para executar cada tarefa, coordenar a execução das mesmas de acordo com o encadeamento especificado e reportar eventuais problemas encontrados durante a execução. Este trabalho de conclusão de curso está no contexto do projeto de pesquisa CÉOS, executado pela Universidade Federal de Santa Catarina (UFSC), em parceria com o Ministério Público de Santa Catarina (MPSC). O projeto CÉOS tem o objetivo de desenvolver workflows para análise e processamento de dados em grande escala a fim de automatizar a extração de conhecimento e aumentar a eficiência das decisões tomadas em atividades do MPSC. Neste trabalho, é especificado e implementado um fluxo de trabalho para extração, transformação e carga (extract, transform, load - ETL) de dados referentes a licitações e compras feitas pela Prefeitura Municipal de Florianópolis. O fluxo é orquestrado pelo Airflow de acordo com grafos acíclicos direcionados (directed acyclic graph - DAG) especificados na plataforma. Os resultados são avaliados usando métricas referentes à quantidade e qualidade dos dados, a frequência de erros e o tempo de execução dos processos de ETL.

A workflow specifies a process involving the chaining of tasks and the flow of information between them in order to achieve a business objective. The orchestration of a workflow automates and manages the execution of a process instance according to the workflow specification, using orchestration software. The orchestrator invokes appropriate human and/or IT resources to execute each task, coordinates their execution according to the specified chaining, and reports any issues encountered during execution. This undergraduate thesis is part of the CÉOS research project, carried out by the Federal University of Santa Catarina (UFSC) in partnership with the Public Prosecutor’s Office of Santa Catarina (MPSC). The CÉOS project aims to develop workflows for the analysis and processing of large-scale data in order to automate knowledge extraction and improve the efficiency of decision-making processes within MPSC activities. In this work, a workflow is specified and implemented for extract, transform, and load (ETL) processes involving data related to bidding and procurement carried out by the Municipality of Florianópolis. The workflow is orchestrated by Airflow according to directed acyclic graphs (DAGs) specified in the platform. The results are evaluated using metrics related to data quantity and quality, error frequency, and ETL process execution time.