Método para reconhecimento em tempo real de expressões faciais em grupos utilizando redes neurais convolucionais

Abstract

Com a evolução das Novas Tecnologias da Informação e Comunicação (NTICs), o setor educacional, assim como diversos outros setores da sociedade, se beneficiam com aplicações e soluções nas mais diversas áreas. A adoção de novas ferramentas com Inteligência Artificial (IA) para auxiliar professores e estudantes no processo de ensino-aprendizado é essencial e frequente neste contexto, especialmente devido às mudanças das dinâmicas sociais dos últimos anos, desencadeadas pela pandemia da COVID-19. Este trabalho aborda a aplicação de (NTICs) no reconhecimento de expressões faciais em grupos, uma área de interesse crescente devido ao seu potencial nestes ambientes e outros contextos sociais. A pesquisa centrou-se no desenvolvimento e aplicação de um modelo de IA baseado em Redes Neurais Convolucionais (CNNs), utilizando uma técnica de transferência de aprendizagem sobre o modelo MobileNetV2, ajustado para classificações de sete expressões básicas. A metodologia envolve a seleção do conjunto de dados FER-2013 para treinar o modelo, seguida por um processo de treinamento e validação que fornece métricas como precisão, recall, e F1-score. A acurácia obtida no conjunto de teste foi de 68,57% em média para todas as expressões comuns. Um comparativo com trabalhos relacionados revelou que o modelo apresenta resultados promissores, superando a maioria das outras abordagens baseadas no mesmo conjunto de dados. A análise destacou a importância de conjuntos de dados representativos e a necessidade de considerar a variabilidade e sutileza das expressões humanas. Uma aplicação prática do software foi realizada em um grupo de alunos, onde o modelo operou em tempo real e demonstrou eficiência na captura de expressões aparentes, alcançando uma mídia de 12 frames por segundo (FPS). O experimento realçou tanto a eficácia quanto os desafios do modelo em capturar a dinâmica das expressões em um ambiente coletivo e reativo. As instruções do experimento apontam para a importância de continuar refinando a tecnologia de reconhecimento facial, levando em consideração a diversidade das expressões humanas e as nuances das interações grupais. O trabalho demonstrou que, apesar do potencial significativo, a aplicação efetiva do reconhecimento facial em grupos requer um entendimento profundo do comportamento humano e adaptações para contextos específicos. Este trabalho contribui para o avanço da pesquisa, fornecendo percepções importantes para futuros desenvolvimentos e aplicações.

Abstract: With the evolution of New Information and Communication Technologies (NTICs), the educational sector, along with various other sectors of the society, has benefited from applications and solutions in the most diverse areas. The adoption of new tools with Artificial Intelligence (IA) to assist teachers and students in the teaching-learning process is essential and frequent in this context, especially due to changes in social dynamics in recent years, triggered by the COVID-19 pandemic. This work addresses the application of NTICs in the recognition of facial expressions in groups, an area of growing interest due to its potential in these environments and other social contexts. The research focused on the development and application of an IA model based on Convolutional Neural Networks (CNNs), using the technique of transfer learning on the MobileNetV2 model, adjusted to classify seven basic facial expressions. The methodology involved the selection of the FER-2013 dataset to train the model, followed by a training and validation processes that used metrics such as precision, recall, and F1-score. The accuracy obtained in the test set was 68.57% on average for all classified expressions. A comparison with related works revealed that the model presents promising results, outperforming most other approaches based on the same dataset. The analysis highlighted the importance of representative datasets and the need to consider the variability and subtlety of human expressions. A practical application of the software was carried out in a group of students, where the model operated in real-time and demonstrated efficiency in capturing facial expressions, achieving an average of 12 frames per second (FPS). The experiment highlighted both the efficacy and the challenges of the model in capturing the dynamics of expressions in a collective and reactive environment. The conclusions of the experiment point to the importance of continuing to refine facial recognition technology, taking into account the diversity of human expressions and the nuances of group interactions. The work demonstrated that, despite significant potential, the effective application of facial recognition in groups requires a deep understanding of human behavior and adaptations for specific contexts. This work contributes to the advancement of research, providing valuable insights for future developments and applications.