Compressão de redes neurais profundas explorando estratégias de regularização baseadas em norma l0

Abstract

Apesar da crescente disponibilidade de plataformas computacionais de alta capacidade, a complexidade ainda impõe grandes desafios para a implantação de redes neurais modernas em aplicações práticas. Essa preocupação não se deve exclusivamente aos altos custos computacionais das arquiteturas de redes de última geração, mas também ao recente impulso em direção à computação de borda e ao uso de redes neurais em aplicações embarcadas. Nesse contexto, as técnicas de compressão de redes têm ganhado interesse devido à sua capacidade de reduzir os custos de implantação mantendo a acurácia de inferência em níveis satisfatórios. A presente tese é dedicada ao desenvolvimento de novos esquemas de compressão para redes neurais. Para isso, estratégias de aproximação da norma l0 são inicialmente exploradas para desenvolvimento novas formas de regularização. Como resultado, regularizações baseadas na aproximação via exponencial da norma l0 e aproximação linearizada são obtidas. Em ambos os casos, as regularizações obtidas demonstram importante capacidade de induzir esparsidade em redes durante o treinamento. Os pesos da rede atraídos à faixa de valores próximos de zero durante treinamento são podados e redes menores, mas altamente eficazes, são obtidas. O uso da aproximação linearizada da norma l0 permite alcançar resultados de indução de esparsidade semelhantes à aproximação exponencial, mas com reduções de complexidade matemática e, consequentemente, computacional da regularização durante o treinamento. Os esquemas de compressão propostos também envolvem o uso de regularização de norma l2 para evitar o overfitting, bem como o fine-tuning para melhorar o desempenho da rede podada. Resultados experimentais são apresentados com o objetivo de demonstrar a eficácia dos esquemas propostos, bem como para realizar comparações com abordagens concorrentes.

Abstract: Despite the growing availability of high-capacity computational platforms, implementation complexity still has been a great concern for the real-world deployment of neural networks. This concern is not exclusively due to the huge costs of state-of-the-art network architectures, but also due to the recent push towards edge intelligence and the use of neural networks in embedded applications. In this context, network compression techniques have been gaining interest due to their ability for reducing deployment costs while keeping inference accuracy at satisfactory levels. The present thesis is dedicated to the development of novel compression schemes for neural networks. To this end, the l0-norm aproximation strategies are initially explored to develop new forms of regularization. As a result, two new regularizations are obtained based on the exponential approximation and the linear approximation of the l0-norm. In both cases, the resulting regularizations demostrated the ability to induce sparsity in networks during training. The network weights attracted to the near-zero range during training are pruned, and smaller yet highly effective networks are obtained. The use of the linear approximation of l0-norm allows the achievement of sparsity induction results similar to the exponential approximation, but with reductions in the mathematical and computational complexity of the regularization during training. The proposed compression schemes also involve the use of l2-norm regularization to prevent overfitting, as well as fine tuning to improve the performance of the pruned network. Experimental results are presented aiming to demonstrate the effectiveness of the proposed schemes, as well as to make comparisons with competing approaches.