Abordagem para implantação de produtos de dados de arquivo em lote em um ambiente de big data

Abstract

A ciência de dados consolidou-se como pilar para a tomada de decisões em diversos setores, impulsionada pela análise de grandes volumes de dados. A fase de implantação de produtos de dados, que são artefatos tangíveis e reutilizáveis gerados a partir de dados e algoritmos, como modelos preditivos ou relatórios, frequentemente apresenta desafios. Em particular, a implantação de produtos de dados em lote (batch), como o cálculo periódico de scores de crédito, que opera sobre grandes volumes em intervalos fixos, tende a receber pouca atenção metodológica, resultando em ineficiências e retrabalho. Este estudo propõe a Abordagem Integrada de Implantação de Produtos de Dados (AIIPD), que integra práticas de engenharia de software e métodos ágeis para padronizar e otimizar a implantação de produtos de dados em lote em ambientes de big data. A AIIPD foi aplicada e avaliada por meio de pesquisa-ação conduzida em um bureau de crédito brasileiro, com implantação em produção. Os resultados quantitativos e qualitativos indicam redução significativa no tempo de implantação e melhoria na colaboração entre as equipes de Produto, Dados & Analytics, Tecnologia e Operação & Delivery. Observou-se ainda maior clareza de responsabilidades, rigor em validação e testes, e aprimoramento da documentação. Conclui-se que a integração de práticas estruturadas de engenharia de software com a flexibilidade dos métodos ágeis oferece uma solução escalável e robusta aos desafios do processamento em lote, contribuindo com um modelo prático que pode servir de referência para organizações que buscam otimizar a fase de implantação de projetos de ciência de dados.

Abstract: Data science has become a cornerstone of decision making across sectors, driven by the analysis of large data volumes. The deployment phase of data products, defined as tangible and reusable artifacts generated from data and algorithms such as predictive models or reports, often presents challenges. In particular, the deployment of batch data products (for example, periodic credit score computation), which operate on large datasets at fixed intervals, tends to receive limited methodological attention, leading to inefficiencies and rework. This study proposes the Integrated Approach for Data Product Deployment (AIIPD), which integrates software engineering practices and agile methods to standardize and optimize the deployment of batch data products in big data environments. The AIIPD was applied and evaluated through action research conducted at a Brazilian credit bureau, culminating in a production deployment. Quantitative and qualitative results indicate a significant reduction in deployment time and improved collaboration among Product, Data & Analytics, Technology, and Operations & Delivery teams. Additional outcomes include clearer responsibilities, stronger validation and testing, and improved documentation. It is concluded that combining structured software engineering practices with agile flexibility provides a scalable and robust response to the challenges of batch processing, offering a practical model for organizations seeking to optimize the deployment phase of data science projects.