Post-hoc methods to enhance selective classification performance of deep neural networks: Luís Felipe Prates Cattelan ; orientador, Danilo Silva.

Abstract

No cenário tecnológico em constante evolução de hoje, a ampla adoção do Aprendizado Profundo tem inaugurado uma era de conquistas sem precedentes na inteligência artificial. Conforme esses algoritmos poderosos continuam a permear vários aspectos de nossas vidas, surge uma necessidade específica de garantir a confiabilidade e segurança de suas particularidades. Esta dissertação explora o problema da classificação seletiva para redes neurais profundas, permitindo que os modelos se abstenham de fazer variações de baixa confiança para evitar erros potenciais. Especificamente, nosso foco está na otimização do estimador de confiança de um classificador fixo para melhorar o desempenho de detecção de erros de classificação. Essa melhoria visa aprimorar a capacidade do modelo de distinção entre corretas e incorretas, atribuindo valores de confiança mais altos às primeiras. Pesquisas anteriores indicaram que diferentes classificações exibiram níveis variados de desempenho na detecção de erros de classificação, especialmente ao usar a probabilidade máxima softmax (MSP) como medida de confiança. Argumentamos que essas disparidades são resultado de estimadores de confiança subótimos sendo usados ??para cada modelo. Para abordar esse problema, propomos um estimador de confiança post-hoc simples e eficiente chamado p-NormSoftmax. Esser estimado envolve a transformação dos logits por meio da normalização p-norma e do escalonamento de temperatura (ou seja, da multiplicação dos logits por um escalar), seguida pelo cálculo da MSP. Os valores de $p$ e de temperatura são otimizados com base em um conjunto de validação, tornando o estimador disponível aplicável a modelos já treinados. Em muitos casos, ele melhorou significativamente o desempenho de classificação seletiva dos modelos. Por meio de avaliação empírica em 84 classificados pré-treinados do conjunto de dados Imagenet, nosso método proposto p-NormSoftmax demonstra uma melhoria média de 16% na área sob a curva risco-cobertura (AURC), com alguns modelos exibindo melhorias de quase 50 %. Além disso, observamos que, após a aplicação do p-NormSoftmax, esses modelos alcançam níveis equivalentes de desempenho na detecção de erros de classificação, indicando que o desempenho de classificação seletiva de um modelo é predominantemente determinado pela acurácia global em cobertura completa. Esta pesquisa contribui para avançar na compreensão da classificação selecionada em redes neurais profundas e oferece um método eficaz para aprimorar suas capacidades de detecção de erros de classificação.

Abstract: In today?s rapidly evolving technological landscape, the widespread adoption of Deep Learning has ushered in an era of unprecedented achievements in artificial intelligence. As these powerful algorithms continue to pervade various aspects of our lives, there arises an inherent need to ensure the reliability and safety of their predictions. This dissertation explores the problem of selective classification for deep neural networks, allowing models to abstain from making low-confidence predictions to avoid potential errors. Specifically, our focus lies in optimizing the confidence estimator of a fixed classifier to enhance its misclassification detection performance. This enhancement aims to improve the model?s ability to distinguish between correct and incorrect predictions by assigning higher confidence values to the former. Previous research has indicated that various classifiers exhibit differing levels of misclassification detection performance, particularly when using the maximum softmax probability (MSP) as a confidence measure. We argue that these disparities are largely a result of sub-optimal confidence estimators being employed for each model. To address this issue, we propose a straightforward and efficient post-hoc confidence estimator named p-NormSoftmax. This estimator involves transforming the logits through p-norm normalization and temperature scaling, followed by computing the MSP. The values of p and the temperature are optimized based on a hold-out set, making the estimator readily applicable to already trained models. In many cases, it significantly improves the selective classification performance of the models. Through empirical evaluation on 84 pretrained Imagenet classifiers, our proposed p-NormSoftmax method demonstrates an average improvement of 16% in the area under the risk-coverage curve (AURC), with some models exhibiting almost 50% of enhancements. Moreover, we observe that after applying p-NormSoftmax, these models attain equivalent levels of misclassification detection performance, suggesting that a model?s selective classification performance is predominantly determined by its overall accuracy at full coverage. This research contributes to advancing the understanding of selective classification in deep neural networks and provides an effective method to improve their misclassification detection capabilities.