Automatização da elaboração e análise de resumos de registro de eventos de equipamentos com o uso de grandes modelos de linguagem

Abstract

No cenário empresarial, a automação e a redução da dependência de trabalho manual são cruciais para a competitividade, visando eficiência e redução de custos. A adoção de soluções automatizadas tornou-se essencial para superar desafios no suporte técnico, como erros humanos e alto custo operacional, dando apoio a tomada de decisões mais precisas e ágeis relacionadas a falhas em equipamentos eletroeletrônicos. Este trabalho desenvolve uma prova de conceito focada na automatização da análise de \textit{logs} de equipamentos. Os \textit{logs} são registros cruciais que documentam as operações dos dispositivos, sendo fundamentais para identificar comportamentos anormais e falhas técnicas. A solução proposta utiliza grandes modelos de linguagem (LLMs) para a sumarização automática de \textit{logs}, um processo que sumariza um número relativamente grande de \textit{logs} em informações essenciais. Essa condensação auxilia no diagnóstico, apoiando decisões ágeis no suporte técnico. Utilizando a técnica de Geração Aumentada de Recuperação (RAG), os LLMs são capazes de acessar documentos técnicos de dispostivos eletroeletrônicos como contexto para formular respostas detalhadas sem a necessidade de retreinamento dos modelos. O projeto foi realizado com a implementação de contêineres que facilitaram a hospedagem e o acesso aos grandes modelos de linguagem de código aberto. Esta infraestrutura permitiu realizar tarefas de inteligência artificial generativa de maneira segura e eficiente, melhorando consideravelmente o suporte técnico ao reduzir o tempo necessário para diagnósticos e aumentar a precisão das respostas fornecidas aos técnicos. Para avaliar a eficácia do mecanismo de recuperação de informações, utilizou-se uma LLM para gerar um conjunto de dados de questão-resposta, minimizando a necessidade de intervenção manual por parte de analistas. Isso foi possível graças à criação de dados derivados da interpretação dos referidos documentos. A sumarização dos arquivos de \textit{logs} foi realizada por uma cadeia de LLMs, que lidou com dados estruturados e consultas complexas, transformando a consulta inicial por meio de um fluxo sistemático até a geração da resposta final. A ferramenta desenvolvida permite interações através de uma interface que suporta tanto consultas usando a técnica RAG com base em documentos técnicos quanto a sumarização de \textit{logs}, incluindo a capacidade de realizar o \textit{upload} de arquivos para processamento. As métricas de avaliação utilizadas testaram diferentes configurações de \textit{chunks} e modelos de \textit{embeddings}, revelando que variações no tamanho dos \textit{chunks} influenciam diretamente o desempenho dos modelos. O modelo \textit{mixedbread-ai/mxbai-embed-large-v1} com um \textit{chunk size} de 512 obteve os melhores resultados em termos de precisão e eficiência. Este projeto aponta que a automação com LLMs pode revolucionar o processo de suporte técnico, proporcionando respostas rápidas e precisas, reduzindo custos operacionais e melhorando a satisfação do cliente. Ele valida a aplicabilidade prática da inteligência artificial em sistemas de suporte técnico, oferecendo uma contribuição significativa ao campo da manutenção de equipamentos eletroeletrônicos e promovendo avanços importantes para a empresa cliente, para os times de suporte técnico, e para os usuários finais, minimizando o tempo de inatividade dos equipamentos e acelerando a resolução de problemas.

In the business environment, automation and the reduction of manual labor dependency are crucial for competitiveness, aiming for efficiency and cost reduction. The adoption of automated solutions has become essential to overcome challenges in technical support, such as human errors and high operational costs, supporting more accurate and swift decision-making related to failures in electronic equipment. This work develops a proof of concept focused on automating the analysis of equipment logs. Logs are crucial records that document the operations of devices, essential for identifying abnormal behaviors and technical failures. The proposed solution utilizes large language models (LLMs) for the automatic summarization of logs, a process that condenses a relatively large number of logs into essential information. This condensation aids in diagnostics, supporting swift decisions in technical support. Using the Retrieval-Augmented Generation (RAG) technique, the LLMs can access technical documents of electronic devices as context to formulate detailed responses without the need for retraining the models. The project was carried out with the implementation of containers that facilitated the hosting and access to open-source large language models. This infrastructure allowed the performance of generative artificial intelligence tasks in a secure and efficient manner, considerably improving technical support by reducing the time needed for diagnostics and increasing the accuracy of the responses provided to technicians. To evaluate the effectiveness of the information retrieval mechanism, an LLM was used to generate a question-answer dataset, minimizing the need for manual intervention by analysts. This was made possible by creating data derived from the interpretation of the mentioned documents. The summarization of the log files was carried out by a chain of LLMs, which handled structured data and complex queries, transforming the initial query through a systematic flow until the final response generation. The developed tool allows interactions through an interface that supports both queries using the RAG technique based on technical documents and the summarization of logs, including the ability to upload files for processing. The evaluation metrics used tested different chunk configurations and embedding models, revealing that variations in chunk size directly affect the performance of the models. The model mixedbread-ai/mxbai-embed-large-v1 with a chunk size of 512 achieved the best results in terms of accuracy and efficiency. This project indicates that automation with LLMs can revolutionize the technical support process, providing quick and accurate responses, reducing operational costs, and improving customer satisfaction. It validates the practical applicability of artificial intelligence in technical support systems, offering a significant contribution to the field of electronic equipment maintenance and promoting significant advances for the client company, technical support teams, and end-users, minimizing equipment downtime and accelerating problem resolution.