Migração e replicação de dados de uma plataforma de financiamento de veículos

Abstract

The project in question focuses on the complex integration between a startup specialized in vehicle leasing and an established company in the German automobile trade. The main challenge involves migrating more than 10,000 offers from the startup’s database to the purchasing company’s platform. This operation is challenging due to the distinct characteristics of each platform and the architectural divergence that differentiates them. The task is not limited to moving existing offerings, but also ensuring continuous synchronization to keep both platforms up to date and operational. The coexistence of both is crucial, as certain features exclusive to the startup must continue to operate even after the migration. The development of the project is separated into 3 distinct phases, the first being the analysis of both architectures, seeking to identify points of convergence and divergence, the second the implementation of a program capable of migrating offers continuously, and finally, the third being the construction of a strategic plan for the migration of functionalities for future projects. The program was implemented using the Elixir programming language, with an architecture based on the Umbrella format. The implemented solution makes use of Cronjobs, a mechanism for scheduling periodic tasks, and sending files in CSV format, which is widely used by the receiving company. The developed program meets the requirement of sending offer information continuously to the receiving platform. The migration result was satisfactory, as approximately 95% of the offers were successfully migrated. However, some performance issues were identified. Finally, the project presents a possible strategic plan that can be used for a future migration of functionalities from one platform to another.

O projeto em questão centra-se na complexa integração entre uma startup especializada em leasing de veículos e uma empresa consolidada no comércio automobilístico alemão. O principal desafio envolve a migração de mais de 10 mil ofertas do banco de dados da startup para a plataforma da empresa compradora. Essa operação é desafiadora devido às características distintas de cada plataforma e à divergência arquitetônica que as diferencia. A tarefa não se limita à movimentação das ofertas existentes, mas também à garantia de uma sincronização contínua para manter ambas as plataformas atualizadas e operacionais. A coexistência de ambas é crucial, pois certas funcionalidades exclusivas da startup devem continuar a operar mesmo após a migração. O desenvolvimento do projeto é separado em 3 fases distintas, sendo primeira a de análise de ambas as arquiteturas, buscando identificar pontos de convergência e divergência, a segunda a de implementação de um programa capaz de migrar as ofertas de maneira contínua, e por fim, a terceira sendo a construção de um plano estratégico para a migração das funcionalidades visando projetos futuros. O programa foi implementado utilizando a linguagem de programação Elixir, com a arquitetura base- ada no formato Umbrella. A solução implementada faz o uso de Cronjobs, mecanismo para agendamento de tarefas periódicas, e do envio de arquivos em formato de CSV, que é bastante utilizado pela empresa receptora. O programa desenvolvido cumpre o requisito de enviar as informações das ofertas de maneira contínua para a plataforma receptora. O resultado obtido para migração foi satisfatório, visto que aproximadamente 95% das ofertas foram migradas com sucesso. Contudo, alguns problemas de desempenho foram identificados. Por fim, o projeto apresenta um possível plano estratégico que pode ser utilizado para uma futura migração de funcionalidades de uma plataforma para outra.