Otimização de Hiperparâmetros Arquiteturais em Redes Adversárias Generativas

Abstract

A recente evolução notória no campo de \textit{Machine Learning} tem demonstrado a relevância na capacidade de modelos em extrair características e internalizar eficientemente representações de espaços complexos e de alta dimensionalidade como imagens, áudio e linguagem natural. Nesse âmbito, a pesquisa em torno de modelos profundos não-supervisionados constitui uma importante fronteira tecnológica, sendo os resultados relevantes para todo o espectro de aplicações do campo. Em 2014 com a introdução das Redes Adversárias Generativas (GANs), e sua posterior evolução, as Redes Profundas Convolucionais Adversárias Generativas (DCGANs), obteve-se um progresso significativo na capacidade de geração de imagens. No entanto, embora essa subclasse de modelos geradores apresente performances sem precedentes, treiná-las continua sendo um desafio árduo para pesquisadores e desenvolvedores na indústria. Parte significativa da literatura sobre GANs se dedica ao estudo de arquiteturas, técnicas de treinamento e heurísticas para o ajuste de hiperparâmetros, com o objetivo de aumentar a estabilidade do treinamento, assim como obter melhores performances. Esse trabalho se dedica a explorar o impacto do ajuste de hiperparâmetros arquiteturais na estabilidade e performance do treinamento de DCGANs. Para tanto, propõe-se uma metaparametrização da arquitetura de uma DCGAN e desenvolve-se um estudo empírico do impacto na performance dos modelos treinados com diferentes combinações de características arquiteturais descritas pela metaparametrização. Conclui-se que a progressão das dimensões das camadas convolucionais apresenta potencial de otimização relevante; no entanto, altamente dependente do \textit{dataset}, o que inviabiliza qualquer prescrição quantitativa. Por outro lado, a distribuição dos filtros ao longos das camadas, apesar de apresentar baixo potencial de otimização, apresentou resultados consistentes a medida em a distribuição se aproxima de uma curva linear. E, por fim, o ajuste da profundidade assim como da complexidade apresentam os maiores potenciais de otimização, superiores a 50\% e 20\%, respectivamente, e que a otimização arquitetural, embora relevante, deve ser feita em conjunto com a otimização dos hiperparâmetros de treinamento, sendo esses primordiais para a estabilização da maioria dos ajustes arquiteturais testados.

The recent notorious evolution in the field of Machine Learning has demonstrated the relevance of feature extraction and the efficient internal representation of complex high dimensional spaces like images, audio and natural language. On this context, the research of deep non-supervised models are an important technological frontier to achieve these capabilities. With the introduction of GANs in 2014, and afterwards DCGANs, a significative improvement was obtained in the field of image generation. Nevertheless, despite this new subclass presented an unprecedented performance, it's training continues to be a challenging task for researchers and practitioners in the industry. A significative part of the GANs related literature is dedicated to the study of architectures, training techniques and heuristics to adjust hyperparameters in order to increase training stability and the model's performance. The goal of this work is to explore the impact of the adjustment of architectural hyperparameters on the stability of DCGANs training as well as on their performance. It is, therefore, proposed a metaparametrization of the DCGAN architecture which encodes and gives control over notable aspects of the DCGAN architecture, enabling an empirical study of the performance impact of models trained with different architectural characteristics described by the metaparametrization. The study concluded that the progression of the convolutional layers dimensions present a relevant potential of optimization although heavily dependent on the dataset, which impossibilitates any quantitative prescription. On the other hand, the progression of the number of filters throughout the convolutional layers, despite the low optimization potential, has presented consistent results for distributions closer to a linear curve. At last, the depth and complexity adjustments presented the highest optimization potentials, over 50\% and 20\%, respectively. It was also noted that the optimization of training hyperparameters should always be done in conjunction to the architectural optimization, as most architectural combinations tested were initially unstable.