Automated assessment of the visual aesthetics of app inventor user interfaces with deep learning

Abstract

A estética visual está sendo considerada cada vez mais como um fator essencial para o sucesso das aplicações móveis, afetando a experiência e a percepção dos usuários, o que torna a sua avaliação crucial no processo de design de interfaces. Recentemente, as abordagens de aprendizado de máquina têm apresentado resultados bastante promissores na previsão da estética visual. No entanto, até o presente momento, essas soluções propostas avaliam apenas interfaces de usuário baseadas na web. Portanto, neste trabalho foi desenvolvido um modelo de deep learning para quantificar a estética visual de interfaces de usuário móveis Android. Um modelo de rede neural convolucional (CNN) com um corpus de screenshots de interfaces de aplicativos Android foi treinado, adotando-se uma abordagem de aprendizado supervisionado baseado em regressão. Após o treinamento, o modelo prevê a distribuição das avaliações de estética visual para as GUIs de aplicativos Android, a partir das quais é possível calcular suas pontuações de estética visual e o grau de concordância entre os avaliadores. O seu desempenho foi medido como o erro quadrático médio entre o grau de estética visual previsto e o atribuído por avaliadores humanos. Também foi avaliada a saída do modelo analisando-se sua correlação e concordância com a avaliação humana. Entre as contribuições desta pesquisa estão um modelo de aprendizado profundo que pode automatizar a avaliação do aspecto estético de aplicativos móveis e um conjunto de dados com 820 imagens de interfaces de usuários desenvolvidas com o App Inventor e rotuladas. Com esse modelo, espera-se reduzir o custo e o tempo desse tipo de avaliação, permitindo sua execução a qualquer momento durante o processo de desenvolvimento de software. Ele pode estar disponível para organizações de software com poucos recursos alocados para design de interface do usuário, contribuindo para a melhoria da qualidade do software e processo de desenvolvimento. Outro uso possível é no contexto educacional. Espera-se que a automatização da avaliação da estética visual apoie o ensino do design visual, diminuindo o esforço de avaliação e resolvendo outros problemas, como o favoritismo.

Abstract: Visual aesthetics is increasingly seen as an essential success factor for mobile applications, affecting users' experience and perception, making its assessment crucial in the interface design process. Recently, machine learning approaches have shown great promise in predicting visual aesthetics. Yet so far, these proposed solutions only evaluate web-based user interfaces. Therefore, we have developed a deep learning model to quantify the visual aesthetics of Android mobile user interfaces. We trained a convolutional neural network (CNN) model with a corpus of screenshots of Android app interfaces, adopting a regression-based supervised learning approach. After training, the model predicts the distribution of visual aesthetics ratings to Android app GUIs, from which it is possible to compute their visual aesthetics scores and the degree of agreement among raters. We measured its performance as the mean squared error between the predicted visual aesthetics degree and that assigned by human raters. We also evaluated the model output by analyzing its correlation and agreement with the ground truth. A contribution from our research is a deep learning model that can automate the assessment of the aesthetic aspect of mobile apps and a dataset with 820 labeled GUIs developed with App Inventor. With this model, we expect to reduce the cost and time of this type of assessment, allowing its execution at any time during the software development process. It can be available to software organizations with few resources allotted for UI design, contributing to the software quality improvement and development process. Another possible use is in the educational context. Automating the assessment of visual aesthetics is expected to support the teaching of visual design by decreasing the evaluation effort and solving other problems, such as favoritism.