Aprimoramento do controlador PID em processos roll-to-roll utilizando aprendizado por reforço

Abstract

Atualmente, cerca de 90% das malhas de controle dependem de controladores PID, tornando essa estratégia predominante em processos que requerem uma malha fechada. Em tais contextos, o controle preciso de variáveis específicas é essencial para assegurar a qualidade e eficiência dos produtos resultantes. Um exemplo desses processos é a manufatura roll-to-roll (R2R), uma prática que remonta à primeira revolução industrial e continua sendo essencial na produção de diversas superfícies funcionais nas áreas de saúde, energia, automobilística, entre outras. Além disso, na manufatura R2R é necessário utilizar controladores que cumpram requisitos específicos, uma vez que o controle da tensão do substrato tem impacto na qualidade das superfícies produzidas. Tradicionalmente, a definição de parâmetros PID é feita por meio de métodos analíticos clássicos os quais exigem um profundo conhecimento das plantas, que muitas vezes são complexas e apresentam não-linearidades frequentemente simplificadas, o que pode comprometer a eficácia do modelo. Em adição, esse processo de obtenção dos parâmetros pode consumir muito tempo na indústria. Com os avanços no poder computacional, no entanto, a obtenção de um controlador por meio de métodos de ajuste tem se destacado como uma abordagem vantajosa. Esses métodos são mais rápidos, automatizados e capazes de considerar as dinâmicas do sistema, sem a necessidade de simplificações. Considerando isso, este trabalho explora o uso de inteligência artificial, especificamente o aprendizado por reforço, como método de ajuste de controlador, visando aprimorar o controle de tensão durante um processo R2R. Como resultado, obteve-se um controlador com um valor de custo 65.1% menor em relação ao controlador definido empiricamente pelo operador. Os objetivos deste estudo incluem a coleta e o tratamento de dados, simulação do processo, desenvolvimento de um algoritmo de aprendizado por reforço para ajustar os parâmetros do controlador PID e avaliação do seu desempenho. A base teórica desta pesquisa abrange desde conceitos de engenharia de controle até aprendizado de máquina, destacando o papel desses elementos na criação de soluções viáveis para enfrentar desafios presentes em contextos industriais.

Currently, about 90% of control loops employ PID controllers, making this strategy predominant in processes that require a closed loop. In these contexts, precise control of specific variables is essential to ensure the quality and efficiency of the resulting products. An example of these processes is roll-to-roll (R2R) manufacturing, a practice that dates back to the first industrial revolution and remains crucial in the production of various functional surfaces in healthcare, energy, automotive, and other sectors. However, in R2R manufacturing, it is necessary to use controllers that meet specific requirements, as the control of substrate tension impacts the quality of the produced surfaces. Traditionally, the definition of PID parameters is done through analytical methods, which requires in-depth knowledge of plants, often complex and presenting nonlinearities that are frequently simplified, potentially compromising the model’s effectiveness. Additionally, this parameter-obtaining process can be time-consuming in the industry. However, with advances in computational power, obtaining a controller through tuning methods has emerged as an advantageous approach. These methods are faster, automated, and capable of considering the system dynamics without the need for simplifications. Therefore, this paper explores the use of artificial intelligence, specifically reinforcement learning, as a method for controller tuning, aiming to improve tension control during an R2R process. As a result, a controller with a cost value 65.1% lower than the empirically defined controller by the operator was obtained. The objectives of this study include data collection and processing, process simulation, development of a reinforcement learning algorithm to tune the PID controller parameters, and evaluation of its performance. The theoretical basis of this research encompasses concepts from control engineering to machine learning, highlighting the role of these elements in creating viable solutions to address challenges present in industrial contexts.