Implementação de uma arquitetura de processamento distribuído de grandes volumes de dados em uma empresa do varejo

Abstract

Dada a alta competitividade do setor de varejo com o advento dos mercados eletrônicos (e-commerce), as empresas buscam otimizar seus processos de venda, atração e retenção de clientes com o uso da análise de grandes volumes de dados históricos almejando se destacar frente aos seus concorrentes. Entender o comportamento do consumidor e agilizar a tomada de decisões são elementos chave para o sucesso de um negócio. Esse projeto aborda os desafios de uma grande empresa do varejo na implementação de uma arquitetura de engenharia de dados que se utiliza de tecnologias modernas como a replicação de bases de dados em tempo real, processamento distribuído de altos volumes de dados e disponibilização democrática de informação para os stakeholders, analistas de inteligência de negócio e para modelos de Inteligência Artificial e Aprendizado de Máquina na forma de tabelas agregadas com dados de vendas, fretes, parceiros, notas fiscais, remessas, entre outras a partir de bases históricas existentes, representando um complexo problema de computação dado o volume de dados. A plataforma construída será utilizada pela empresa cliente do projeto de forma a concedê-la ganhos significativos em performance de consultas, rapidez na tomada de decisões de negócios, eficiência operacional, cálculo de indicadores chave como a taxa de churn de clientes, valor vitalício por cliente, comissão de parceiros, tendências de venda e muitos outros. Esse estudo se propõe como um guia para empresas que buscam aprimorar suas estratégias e cultura de dados não só no contexto do varejo, mas em qualquer área de negócio que possa se beneficiar da tomada de decisão baseada em dados, abrangendo conceitos, dificuldades, limitações e custos envolvidos na implementação de uma arquitetura moderna de dados.

Given the high competitiveness of the retail sector with the advent of electronic markets (e-commerce), companies are seeking to optimize their sales processes, attraction and retention of customers through the analysis of large volumes of historical data, aiming to stand out from their competitors. Understanding consumer behavior and speeding up decision-making are key elements for the success of a business. This project addresses the challenges of a large retail company in implementing a data engineering architecture that makes use of modern technologies such as real-time database replication, distributed processing of high volumes of data, and democratic availability of information for stakeholders, business intelligence analysts, and Artificial Intelligence and Machine Learning models in the form of aggregated tables with data on sales, freight, partners, invoices, shipments, among others from existing historical bases, representing a complex computing problem given the volume of data. The proposed platform will be used by the client company to grant it significant gains in query performance, speed in business decision-making, operational efficiency, calculation of key indicators such as customer churn rate, lifetime value per customer, partner commission, sales trends, and many others. This study serves as a guide for companies looking to improve their data strategies and data culture not only in the retail context but in any business area that can benefit from data-driven decision-making, covering concepts, difficulties, limitations and costs involved in implementing a modern data architecture.