Melhoria da estabilidade de veículo usando aprendizado por reforço

Abstract

Esta dissertação de mestrado apresenta um estudo sobre o uso do aprendizado por reforço para controlar a vetorização de torque de um pequeno carro elétrico de corrida, a fim de melhorar o manuseio e a estabilidade do veículo. Para isso, utilizou-se o algoritmo de aprendizado por reforço Neural Fitted Q Iteration e realizaram-se amostragens do comportamento do veículo por meio de simulações com o software CarMaker. A função de custo utilizada é baseada na posição dos estados no plano de fase do ângulo de deriva e da velocidade angular de deriva. Para investigar a razão máxima de distribuição de torque que deve ser ajustada para garantir a estabilidade, bem como investigar a eficácia das entradas do controlador no processo de aprendizagem, realizaram-se dois experimentos (A e B) com diferentes estados e diferentes possibilidades de distribuição de torque. Os controladores resultantes são capazes de melhorar o manuseio e a estabilidade do veículo com uma redução significativa no ângulo de deriva do veículo. Porém, o controlador A apresentou melhor desempenho com relação à redução do ângulo de deriva e mostrou que a razão de distribuição de torque de 70% é suficiente para manter o veículo estável.

Abstract : This master s thesis presents a study on the use of reinforcement learning to control the torque vectoring of a small electric race car in order to improve vehicle handling and vehicle stability. For this, the Neural Fitted Q Iteration algorithm is used, and the sampling of experiences is done using simulations of the vehicle behaviour in the software CarMaker. The cost function is based on the position of the states on the phase-plane of sideslip angle and sideslip angular velocity. To investigate the maximum ratio of torque distribution that should be set to guarantee stability as well as to investigate the effectiveness of the controller inputs in the learning process, two experiments were done (A and B) with different states and different possibilities of torque distribution. The resulting controllers are able to improve the vehicle handling and stability with a significant reduction in the vehicle sideslip angle. However, controller A presented better performance regarding the reduction of the sideslip angle and showed that 70% as the maximum ratio for the torque distribution is enough to keep the vehicle stable.