Development of a devops infrastructure to enhance the deployment of machine learning applications for manufacturing

Abstract

Entre as atribuições do departamento de qualidade da produção do Instituto Fraunhofer para Tecnologia da Produção IPT está a resolução de problemas de manufatura através da implementação de modelos de aprendizado de máquina. Muitos desses projetos se dão em parcerias estabelecidas com empresas terceiras. O instituto contém processos e fases bem estabelecidas para as etapas de pesquisa onde o problema e o conjunto de dados estáticos são explorados seguindo a metodologia CRISP-DM até se obter um processo de tratamento de dados e um modelo que satisfaça as métricas projetadas. No entanto, o processo de incorporação do modelo em uma aplicação robusta capaz de ser implementada junto ao ambiente de manufatura mostrou-se demasiadamente lento em projetos passados devido, em parte, à falta de automatização de processos de integração e definições de desenvolvimento. As soluções propostas por este PFC constituem a criação de um pipeline de integração contínua capaz de construir, testar e disponibilizar a aplicação automaticamente durante seu desenvolvimento, e uma série de diagramas UML genéricos que podem ser adaptados para diferentes soluções de aprendizado de máquina voltado para manufatura. Um projeto de ciência de dados elaborado pelo instituto foi convertido em uma aplicação desenvolvida e implementada em dois tipos de ambientes simulados utilizando-se tais soluções. Os resultados alcançados sinalizaram maior agilidade de desenvolvimento e robustez satisfatória da arquitetura de software. As aplicações foram implantadas com facilidade e integraram-se corretamente aos ambientes, o que motiva o uso das soluções em projetos futuros com a implementação em ambientes não simulados.

Among the production quality department’s attributions at the Fraunhofer Institute for Production Technology IPT is the development of solutions for manufacturing using machine learning models. Many of these projects are carried out in partnership with third-party companies. The institute has well-established processes for the research phase where the problem in the partner’s production line is explored together with the available static data following the CRISP-DM methodology. These procedures have a machine learning model that satisfies the metrics specified and the necessary data treatments to feed it as its main results. However, the deployment step where the model is embedded in a robust application capable of being implemented within the manufacturing environment took more time than expected and resulted in significant project delays in past experiences. The department analyzed that this happens partially due to the lack of automation on integration steps and development guidelines. Therefore, the solutions proposed by this FPW involve the creation of a continuous integration pipeline capable of building, testing, and releasing the application automatically during its development, and a series of general UML diagrams that can be adapted to different machine learning solutions built for manufacturing. A data science project previously elaborated by the institute was converted into an application developed and deployed in two different simulated environment architectures using these solutions. The results achieved indicate an increase in the development agility and the software structure robustness. The applications were deployed following basic steps and integrated correctly in the environments, which demonstrates the solution benefits and motivates its usage in non-simulated environments in future projects.