An Analysis of Techniques for Building Generative Adversarial Networks

Abstract

Generative Adversarial Networks (GANs) are a subcategory of Artificial Neural Networks where the objective is the generation of new data, they do that by modeling the probability distribution of real data, usually coming from a dataset, and sampling from the modeled

distribution in order to produce original data that is similar, and optimally indistinguish- able, from what was used in training. The principle behind GANs is based on a competition

between two different networks, a discriminator who tries to distinguish real from fake data, and a generator who tries to fool the discriminator by producing data that is as close to the real one as possible. However, the competition between the networks makes training GANs be something notoriously difficult, instability and non-convergence are a common occurrence and many techniques have been proposed to improve not only the learning process, but also the quality of the generated results. The goal for this document was to analyse a number of the most common approaches and make an empirical evaluation of those, trying to apply the techniques in different datasets and seeing which configuration produces the best results. In the end there should be a roadmap that can be used to help guide the initial decisions about what method to use when constructing GANs for new and unknown situations.

Generative Adversarial Networks (GANs) são uma subcategoria de Rede Neurais Artificiais onde o objetivo é a geração de novos dados, elas fazem isso tentando modelar a distribuição de probabilidades de dados reais, geralmente vindos de um dataset, e amostrando da distribuição modelada de modo a produzir dados originais que são similares, e idealmente indistinguíveis do que foi usado durante o treino. O princípio por trás de GANs é baseado em uma competição entre duas redes distintas, um discriminador que tenta distinguir entre dados reais e falsos, e um gerador que tenta enganar o discriminador produzindo dados que são o mais perto possível dos dados reais. Entretanto, a competição entre as duas redes faz do treinamento de GANs algo que é notoriamente difícil, instabilidade e não-convergência são ocorrências comuns e muitas técnicas foram propostas para melhorar não apenas o processo de aprendizado, mas também a qualidade dos resultados gerados. O objetivo deste documento foi de analisar um número de abordagens mais comuns e realizar uma avaliação empírica destas, tentando aplicar as técnicas em diferentes datasets e observando qual configuração produz os melhores resultados. Ao fim deve haver um roteiro que pode ser usado para ajudar a guiar as decisões iniciais sobre qual método utilizar ao construir GANs para novas situações desconhecidas.