An automated assessment model of the learning of machine learning in middle and high school

Abstract

Acompanhando a tendência de ensinar os alunos do ensino Fundamental e Médio a criar suas próprias soluções de Machine Learning (ML), é importante avaliar seu aprendizado. O ensino de ML é tipicamente abordado em cursos extracurriculares, muitas vezes utilizando ferramentas visuais e classificação de imagens, onde as propostas de currículo sugerem abordar uma compreensão dos conceitos básicos de ML, bem como limitações e até considerações éticas. Para apoiar a progressão de aprendizagem pode ser adotado o ciclo Use-Modify-Create. Seguindo a metodologia de Design Centrado em Evidências, esta tese propõe um modelo de avaliação baseado em desempenho e sua automação, projetado para avaliar o aprendizado de competências de ML com relação à classificação de imagens com redes neurais artificiais no contexto educacional do Ensino Fundamental e Médio. Os resultados de análises estatísticas dos dados coletados na aplicação prática das avaliações confirmam a confiabilidade, a validade e a qualidade geral do modelo de avaliação. Os itens que compõem os modelos de avaliação estão adequadamente distribuídos entre os diferentes níveis de dificuldade e a maioria dos itens apresenta níveis adequados de discriminação e diferenciação. O modelo de avaliação no estágio Use/Modify alcançou bons níveis de consistência interna com um coeficiente global Ômega de 0,834 e um alfa de Cronbach de 0,83, demonstrando sua confiabilidade. Também identifica-se a validade convergente e discriminante de moderada a forte. As análises de fatores no estágio Use/Modify indicam dois fatores subjacentes: ?Gerenciamento de dados e treinamento de modelos? e ?Interpretação de desempenho?, que se complementam. Também no estágio Create, a análise da consistência interna indica boa confiabilidade com um coeficiente Ômega com correção polinomial de 0,876 para o traço latente Design Thinking e 0,815 para o traço latente ML. No estágio Create, a validade do construto também foi evidenciada pela validade convergente e discriminante, bem como pela análise fatorial exploratória, que mostrou estruturas complexas e adequadas em conformidade com o modelo teórico. Além disso, a análise baseada na Teoria de Resposta ao Item em um Modelo de Resposta Graduada unidimensional para itens politômicos dos estágios Use/Modify e Create mostrou confiabilidade, o que foi evidenciado pela adequada consistência dos parâmetros de discriminação e adequada dificuldade dos itens em cada traço latente. A análise das curvas características das categorias dos itens também corrobora a confiabilidade, mostrando que todas as categorias são relevantes. Em complemento a esses bons resultados obtidos, foi possível criar e interpretar uma escala para cada traço latente, com base no Smoothing Method of Scale Anchoring. Desta forma, essa pesquisa e os resultados podem orientar o aprimoramento das avaliações, bem como a decisão sobre a aplicação desse modelo para apoiar o aprendizado da criação de soluções de ML como parte de uma avaliação abrangente, beneficiando tanto educadores quanto estudantes.

Abstract: Accompanying the trend of teaching Middle and High school students to create their own Machine Learning (ML) solutions, it is important to assess their learning. The teaching of ML is typically covered in extracurricular courses, often using visual tools and image classification, where curriculum proposals suggest addressing an understanding of basic ML concepts, as well as limitations and even ethical considerations. To support learning progression, the scaffold Use-Modify-Create cycle can be adopted. Following the Evidence-Centered Design methodology, this thesis proposes a performance-based assessment model and its automation, designed to assess the learning of ML concepts and practices in relation to image classification in the educational context of Middle and High school. The results from statistical analyses of data collected from applying the assessments in practice confirms the assessment model's reliability, validity, and overall quality. The items that compose the assessment models are adequately dispersed across the different levels of difficulty and most of the items show adequate levels of discrimination and differentiation. The assessment model at Use/Modify stage achieved good levels of internal consistency with a global coefficient Omega of 0.834 and a Cronbach's alpha of 0.83, demonstrating its reliability. Also identified moderate to strong convergent and discriminant validity. Factor analyses at Use/Modify stage indicate two underlying factors ?Data Management and Model Training? and ?Performance Interpretation?, completing each other. Also at the Create stage, the analysis of internal consistency indicates good reliability with an Omega coefficient with a polynomial correction of 0.876 for the Design Thinking latent trait and 0.815 for the ML latent trait. At the Create stage, construct validity was evidenced by convergent and discriminant validity as well as by the exploratory factor analysis, which showed complex and adequate structures in conformity with the theoretical model. Furthermore, an analysis using Item Response Theory in a unidimensional Graded Response Model for polytomous items of both Use/Modify and Create stages showed reliability, which was evidenced by the adequate consistency of the discrimination and adequate difficulty parameters of the items in each latent trait. Analysis of the category characteristic curves of the items also corroborates the reliability, showing that all categories are relevant. Complementary to the good results obtained, it was possible to create and interpret a scale for each stage, based on the Smoothing Method of Scale Anchoring. In this way, this research and the results can guide the improvement of assessments, as well as the decision on whether to apply this assessment model to support the learning of creating ML solutions as part of a comprehensive assessment, benefiting both educators and students.