Técnicas de estimação de incerteza para modelos de aprendizado profundo em classificação de imagens

Abstract

Dentre os algoritmos de aprendizado de máquina existentes para classificação de imagens, os modelos de aprendizado profundo são ferramentas muito populares e em grande desenvolvimento na atualidade, com diversas possibilidades de aplicação e crescente demanda de alto desempenho. Para atender às aplicações mais sensíveis ao desempenho do modelo, pode-se implementar a Classificação Seletiva, que consiste em entregar ao modelo a possibilidade de rejeitar imagens que possuam maior incerteza de predição, garantindo uma acurácia mínima sobre as amostras consideradas. Para tal é necessário que o modelo possua uma boa estimação de incerteza, associando maiores incertezas a maiores probabilidades de erro, para que possa rejeitar corretamente imagens prejudiciais à métrica de desempenho. Este projeto consiste então na investigação de técnicas de estimação de incerteza para modelos de aprendizado profundo em classificação de imagens. Especificamente, foram feitos experimentos com otimização de estimação de incerteza em uma gama extensa de 418 modelos treinados e avaliados na ImageNet, assim como a investigação do desempenho da otimização para 79 modelos treinados no mesmo conjunto de dados, sob efeitos de dataset shift, isto é, testado em outra distribuição de dados que não a disponibilizada pelo conjunto de dados original. A fim de tratar do por quê diferentes modelos possuem diferentes desempenhos em estimação de incerteza, também foram investigadas técnicas de treinamento associadas à suavização dos rótulos que podem estar relacionadas com a piora de desempenho em classificação seletiva. Foram realizados experimentos controlados no dataset CIFAR-100 para análise das técnicas, assim como monitoramento das métricas de desempenho. Por fim, constatou-se que a otimização post-hoc de estimação de incerteza foi eficaz para o escopo aumentado de modelos e em ambos os cenários com e sem dataset shift. As técnicas de treinamento tratadas, principalmente o Label Smoothing, foram evidenciadas como consideravelmente prejudiciais à classificação seletiva e concluiu-se que a otimização tratada é uma ótima ferramenta para compensação dos prejuízos causados no treinamento