Migração de uma arquitetura de dados baseada em sistemas de Business Intelligence para uma arquitetura de dados baseada em nuvem

Abstract

O avanço da tecnologia da informação, aliada à digitalização dos processos industriais e empresariais e ao desenvolvimento da indústria 4.0 gerou uma realidade em que os processos de uma empresa tornaram-se geradores de informações. Essas informações são manipuladas e registradas pelos sistemas em forma de dados que, quando bem tratados e utilizados, podem resultar em vantagens para as empresas, podendo ser utilizadas em análises de operação com informações úteis para direcionar as decisões tomadas, como matéria-prima para desenvolver produtos voltados a dados e ainda como fontes para alimentar modelos de Inteligência Artificial (IA) capazes de realizar análises prescritivas, entre outras tantas possibilidades. Para que os dados sejam de fato utilizados de maneira eficiente e confiável, é imprescindível que os negócios tenham equipes e processos voltados para a gestão e desenvolvimento de infraestruturas de dados. É comum que se encontre em empresas com forte presença da tecnologia da informação equipes especializadas para desenvolver serviços com dados, compostas por analistas, engenheiros e cientistas de dados. A prática mais comum encontrada nas companhias é uma equipe formada apenas por analistas de dados utilizando ferramentas de Business Intelligence (BI) para desenvolver análises simples e com limitações quanto ao volume de dados processados por conta do poder de processamento de tais ferramentas. Neste contexto, o presente projeto foi desenvolvido pela empresa de consultoria Bix Tecnologia para uma empresa cliente a fim de expandir a infraestrutura de dados da mesma. O projeto consiste em uma migração de uma arquitetura de dados que utiliza somente sistemas de BI do ecossistema Microsoft para uma nova arquitetura voltada para serviços de nuvem. A utilização de serviços de nuvem apresenta vantagens do ponto de vista de poder de processamento, confiabilidade, segurança em todas as camadas de uma arquitetura de dados. Utilizando-se das mais modernas técnicas de processamento de dados, uma migração completa do conjunto de relatórios de BI já utilizados pela empresa cliente foi realizada, implementando novamente todas as tabelas utilizadas pela empresa em uma arquitetura utilizando os serviços de nuvem fornecidos pela Microsoft Azure. Foram aplicadas as melhores técnicas de Engenharia de dados, utilizando serviços de nuvem para armazenamento, processamento, governança e segurança de dados, a fim de fornecer para a empresa cliente uma infraestrutura capaz de suprir suas demandas analíticas crescentes de maneira mais ágil e robusta, além de desenvolver um ecossistema capaz de habilitar o uso de tecnologias modernas voltadas ao uso de IA. Como resultados, uma arquitetura completa de dados foi implementada contemplando as necessidades da empresa e apresentando ganhos relacionados à performance, segurança e maturidade de dados.