Avaliação de confiabilidade e validade de heurísticas de AIX (user experience em aplicativos inteligentes) para classificação de imagens

Abstract

A inteligência artificial (IA) tem sido cada vez mais aplicada nos dispositivos, incluindo aqueles voltados para a classificação de imagens. No entanto, um ponto crítico em relação a esses aplicativos é a questão da qualidade da experiência de uso, que pode ser verificada por meio de um design de interface eficaz. Nesse contexto, está surgindo a área de Experiência do Usuário em Inteligência Artificial (AIX), que busca melhorar a interação entre o usuário e os aplicativos de IA. As pesquisas nessa área concentram-se, atualmente, no desenvolvimento de heurísticas para orientar o design de interfaces de usuário para aplicativos de IA, inclusive para aplicativos móveis com classificação de imagens. Embora já haja propostas e conjuntos iniciais de heurísticas de AIX, ainda não há uma avaliação abrangente de sua confiabilidade e validade. Portanto, este trabalho tem como objetivo avaliar a confiabilidade e validade de heurísticas e de um checklist de avaliação heurística de AIX de aplicativos inteligentes que classifiquem imagens. Isso inclui a avaliação da confiabilidade, da validade das heurísticas e checklist, bem como da concordância entre avaliadores e confiança. Espera-se, com esses resultados, fornecer um instrumento confiável e válido para avaliação heurística de aplicativos de IA com classificação de imagens, fomentar a inovação e melhorias das heurísticas apresentadas, auxiliar e estimular engenheiros de software e designers de interface de usuário a criar aplicativos de IA mais eficientes, eficazes e satisfatórios para os diferentes tipos de usuários da sociedade, melhorar a experiência de uso desses aplicativos, aumentando a confiança, a transparência e a compreensão de usuários sobre o funcionamento e resultados de aplicativos baseados em IA, bem como a possibilidade de inclusão e acessibilidade de usuários de aplicativos de IA em conformidade com suas características e contextos.

Artificial Intelligence (AI) is increasingly integrated into various devices, including those designed for image classification. A critical aspect of these applications is the quality of the user experience, which is significantly influenced by effective interface design. Within this context, the nascent field of Artificial Intelligence User Experience (AIX) endeavors to enhance the interaction between users and AI applications. Current research in AIX primarily focuses on developing heuristics to guide user interface design, particularly for mobile image classification applications. While initial proposals and sets of AIX heuristics exist, a comprehensive assessment of their reliability and validity is currently lacking. This study aims to evaluate the reliability and validity of existing heuristics and a heuristic evaluation checklist specifically tailored for AIX in intelligent image classification applications. Our assessment encompasses the reliability and validity of both the heuristics and the checklist, alongside an examination of inter-evaluator agreement and trust. We anticipate that the findings will yield a reliable and valid tool for theuristic evaluation of AI-powered image classification applications. Furthermore, this research is expected to foster innovation and improvements in the proposed heuristics, while simultaneously assisting and encouraging software engineers and user interface designers to develop more efficient, effective, and satisfactory AI applications for diverse user groups. Ultimately, this study seeks to enhance user experience in these applications by increasing user trust, transparency, and understanding of AI-based application functionality and result generation, as well as promoting inclusion and accessibility for users with varying characteristics and in diverse contexts.