Análise da Viabilidade de Redes Neurais em Grafo com o Paradigma de Aprendizado por Reforço para a Resolução do Problema ONTS

Abstract

O presente trabalho cobre experimentos feitos a fim de se resolver um problema de otimização combinatória, ONTS (Offline Nanosatellite Task Scheduling), do tipo MILP (Programação Linear de Inteiros Mistos), utilizando-se uma abordagem de Aprendizado por Reforço (RL), juntamente com um modelo de Rede Neural em Grafo (GNN). Um estudo teórico inicial de modelos de predição e de aprendizado de máquina foi realizado, englobando-se tópicos como Regressão Linear, Aprendizado Profundo, Redes Neurais em Grafo e Aprendizado por Reforço. Posteriormente, fez-se um estudo prático considerando-se a resolução de um problema clássico de Programação Dinâmica (DP), o problema da mochila, com a abordagem de aprendizado por reforço, utilizando-se o modelo de Rede-Q Profunda (DQN). Em seguida, modifica-se o código do exemplo base referente ao problema da mochila a fim de se aproximar do código da solução do problema alvo inicial, ONTS, criando-se um ambiente simplificado com um número reduzido de restrições, além de serem comparados os desempenhos das soluções com as redes DQN, Pointer Network (PN), Graph Convolutional Network (GCN) e Graph Attentention Network (GAT). Por fim, constrói-se uma solução para o problema ONTS com RL, uma DQN, uma GCN e avalia-se os resultados obtidos.