Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço

DSpace Repository

A- A A+

Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço

Show simple item record

dc.contributor Universidade Federal de Santa Catarina pt_BR
dc.contributor.advisor Moreto, Miguel
dc.contributor.author Carvalho, Jonattan Alves de
dc.date.accessioned 2022-08-10T13:44:17Z
dc.date.available 2022-08-10T13:44:17Z
dc.date.issued 2022-08-05
dc.identifier.uri https://repositorio.ufsc.br/handle/123456789/238118
dc.description TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Eletrônica. pt_BR
dc.description.abstract Este trabalho trata de uma pesquisa experimental de simulação virtual com um modelo robótico do tipo pêndulo invertido sobre duas rodas paralelas. O equilíbrio deste sistema compõe uma tarefa clássica para a área de controle. Neste sistema, devido as propriedades como não linearidade e instabilidade, existem dificuldades para a aplicação de diversos algoritmos de controle clássico. Neste contexto, propõe-se uma abordagem alternativa para este sistema, com controladores baseados em inteligência artificial. O robô foi modelado em espaço de estados com base em leis de Newton e circuitos elétricos, incluindo parâmetros como momentos de inércia, indutância do motor, forças de atrito e efeitos da redução mecânica. Para tornar o modelo mais realista, os parâmetros do motor foram determinados a partir de um motor real. Neste modelo, o objetivo foi controlar tanto a inclinação como a posição do robô, definida em relação ao plano em que este se desloca. Para isso, aplicou-se dois algoritmos de aprendizado por reforço, Double Deep Q-Network, que utiliza redes neurais artificiais para tratar o espaço de estados de forma contínua e Twin Delayed Deep Deterministic Policy Gradient, que atua com estados e ações em domínio contínuo. Desta forma, solucionou-se a tarefa de controle através de aprendizado por tentativa e erro, sem necessidade de conhecimentos prévios sobre o sistema. A performance dos controladores resultantes, assim como a eficiência de seus treinamentos, foi avaliada com múltiplas simulações. Além disso, verificou-se o efeito de ruídos em medidas de sensores utilizados em aplicações práticas e a aplicação de um sinal de entrada para controlar a posição do robô. Por fim, avaliou-se efeitos de modificações na função que caracteriza o objetivo dos controladores. Assim, foi concluído que os algoritmos aplicados possuem potencial para superar controladores clássicos em diversos aspectos. Porém, estes métodos também apresentam dificuldades em suas implementações. pt_BR
dc.description.abstract This work presents an experimental research of virtual simulation with a robotic model of the type inverted pendulum on two parallel wheels. The balance of this system is a classic task for the control area. In this system, due to properties such as nonlinearity and instability, there are difficulties in the application of several classical control algorithms. In this context, an alternative approach to this system is proposed, with controllers based on artificial intelligence. The robot was modeled in state space based on Newton’s laws and electrical circuits, including parameters such as moments of inertia, motor inductance, friction forces and effects of mechanical reduction. To make the model more realistic, the motor parameters were derived from a real engine. In this model, the objective was to control both the inclination and the position of the robot, defined in relation to the plane in which it moves. For this, two reinforcement learning algorithms were applied, Double Deep Q-Network, which uses artificial neural networks to treat the state space continuously and Twin Delayed Deep Deterministic Policy Gradient, which works with states and actions in a continuous domain. Therefore, the control task was solved through trial and error learning, without the need for previous knowledge about the system. The performance of the resulting controllers, as well as the efficiency of their training, was evaluated with multiple simulations. In addition, the effect of noise on sensor measurements used in practical applications and the application of an input signal to control the robot’s position was verified. Finally, the effects of changes in the function that characterize the objective of the controllers were evaluated. Thus, it was concluded that the applied algorithms have the potential to overcome classical controllers in several aspects. However, these methods also present difficulties in their implementation. pt_BR
dc.format.extent 93 f. pt_BR
dc.language.iso por pt_BR
dc.publisher Florianópolis, SC pt_BR
dc.rights Open Access
dc.subject pêndulo-invertido pt_BR
dc.subject modelo pt_BR
dc.subject controle pt_BR
dc.subject inteligência-artificial pt_BR
dc.subject aprendizado-por-reforço pt_BR
dc.subject inverted-pendulum pt_BR
dc.subject model pt_BR
dc.subject control pt_BR
dc.subject artificial-intelligence pt_BR
dc.subject reinforcement-learning pt_BR
dc.title Modelagem e controle de um robô do tipo pêndulo invertido utilizando aprendizado por reforço pt_BR
dc.type TCCgrad pt_BR


Files in this item

Files Size Format View Description
TCC.pdf 8.163Mb PDF View/Open TCC

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Browse

My Account

Statistics

Compartilhar