Desenvolvimento de pipelines para padronização, limpeza e enriquecimento de dados veiculares

Abstract

This project aims to develop a vehicle data processing pipeline, which includes standardization, cleaning, and enrichment processes. The same was carried out within mobway, a startup that connects OEMs with connected vehicles to companies in different mobility sectors, allowing them to use vehicle data to optimize their operations and services. This pipeline will be the basis for all development related to data processing over the next few years. In this way, a small set of data was selected to represent the first version of the pipeline. The project was developed in Python, using mainly the Pandas library, and implemented in a data orchestration tool called Mage. The results obtained were satisfactory and will be the basis for mobway MVP.

Esse projeto visa desenvolver uma pipeline de processamento de dados veiculares, que inclui processos de padronização, limpeza e enriquecimento. O mesmo foi realizado dentro da mobway, uma startup que conecta montadoras com veículos conectados a empresas nos diversos setores da mobilidade, permitindo que utilizem dados veiculares para otimizar sua operação e serviços. Esta pipeline será a base para o todo o desenvolvimento relacionado a tratamento de dados ao longo dos próximos anos. Desta forma, um conjunto pequeno de dados foi selecionado para figurar a primeira versão da pipeline. O projeto foi desenvolvido em Python, utilizando principalmente a biblioteca Pandas, e implementado em um orquestrador de dados chamado Mage. Os resultados obtidos foram satisfatórios, e serão a base para o MVP da mobway.