Análise preditiva do desempenho acadêmico em ambientes virtuais de aprendizagem: uma abordagem com aprendizado de máquina otimizado

Abstract

A evasão estudantil e o baixo desempenho acadêmico continuam sendo desafios persistentes na educação, frequentemente ocorrendo em taxas substanciais e apresentando dificuldades consideráveis para identificação e intervenção oportunas. Sistemas de gerenciamento de aprendizagem, como o Moodle, geram extensos conjuntos de dados que refletem as interações dos alunos e os padrões de matrícula, apresentando oportunidades para a aplicação de análise preditiva. Este estudo busca avançar na área de previsão de evasão e baixo desempenho acadêmico por meio da aplicação de inteligência artificial com metodologias de aprendizado de máquina. Em particular, empregamos o algoritmo CatBoost, treinado em registros de atividade estudantil da plataforma Moodle. Para mitigar os desafios impostos por um conjunto de dados limitado e desbalanceado, utilizamos técnicas sofisticadas de balanceamento de dados, como o Adaptive Synthetic Sampling (ADASYN), e realizamos otimização multiobjetivo de hiperparâmetros usando o Algoritmo Genético de Ordenação Não Dominada II (NSGA-II). Comparamos modelos treinados com dados semanais de logs com um único modelo treinado com dados de todas as semanas. O modelo proposto, treinado com os dados de todas as semanas, demonstrou desempenho superior, apresentando melhorias significativas nas pontuações F1 e recall, especialmente para a classe minoritária de alunos em risco. Por exemplo, o modelo obteve uma pontuação F1 média ao longo de múltiplas semanas de aproximadamente 0,8 no teste holdout. Esses achados destacam o potencial das abordagens de aprendizado de máquina direcionadas para facilitar a identificação precoce de alunos em risco, permitindo intervenções oportunas e melhorando os resultados educacionais.

Abstract: Student attrition and academic failure remain pervasive challenges in education, often occurring at substantial rates and posing considerable difficulties for timely identification and intervention. Learning management systems such as Moodle generate extensive datasets reflecting student interactions and enrollment patterns, presenting opportunities for predictive analytics. This study seeks to advance the field of dropout and failure prediction through the application of artificial intelligence with machine learning methodologies. In particular, we employed the CatBoost algorithm, trained on student activity logs from the Moodle platform. To mitigate the challenges posed by a limited and imbalanced dataset, we employed sophisticated data balancing techniques, such as Adaptive Synthetic Sampling (ADASYN), and conducted multi-objective hyperparameter optimization using the Non-dominated Sorting Genetic Algorithm II (NSGA-II). We compared models trained on weekly log data against a single model trained on all weeks' data. The proposed model trained with all weeks' data demonstrated superior performance, showing significant improvements in F1-scores and recall, particularly for the minority class of at-risk students. For example, the model got an average F1-score across multiple weeks of approximately 0.8 in the holdout test. These findings underscore the potential of targeted machine learning approaches to facilitate early identification of at-risk students, thereby enabling timely interventions and improving educational outcomes.