Investigação de um sistema de controle para pouso de boosters utilizando aprendizado de máquina por reforço

Abstract

O principal custo de uma missão orbital diz respeito ao primeiro estágio do veículo lançador. Atualmente, esse estágio é apenas parcialmente recuperado acarretando em altos custos operacionais do setor aeroespacial. Visando reduzir tais custos, procura-se recuperar o primeiro estágio pousando-o em solo verticalmente, através de sistemas de controle de estabilização autônomos. Controladores podem ser desenvolvidos a partir de metodologias clássicas ou modernas, que utilizam maior poder computacional para processar as informações. Este trabalho investiga uma abordagem recente para a obtenção de um controlador, visando mimetizar os resultados já alcançados por empresas como SpaceX e Blue Origin. Para isso, pretende-se modelar um sistema simplificado de controle para a etapa de pouso do booster utilizando aprendizado de máquina por reforço, a fim de definir diretrizes eficientes para os sistemas. Será construído um ambiente de simulação 2D em Python, utilizado a framework Box2D, para modelar a física do booster. Em seguida, serão comparados os modelos obtidos com dados de telemetria de um pouso da missão SpaceX CRS-11.

The main cost of an orbital mission concerns the first stage of the launch vehicle. Currently, this stage is only partially recovered, resulting in high operational costs in the aerospace sector. To reduce these costs, efforts are being made to recover the f irst stage by landing it vertically on the ground using autonomous stabilization control systems. Controllers can be developed using either classical methodologies or modern approaches that leverage greater computational power to process information. This work investigates a recent approach to obtaining a controller, aiming to mimic the results already achieved by companies like SpaceX and Blue Origin. To this end, a simplified control system for the booster landing stage will be modeled using reinforcement learning to define efficient system guidelines. A 2D simulation environment will be built in Python using the Box2D framework to model the physics of the booster. Subsequently, the obtained models will be compared with telemetry data from a SpaceX CRS-11 mission landing