A method for the evaluation of the quality of games for computing education

Abstract

Jogos educacionais são considerados uma estratégia instrucional eficiente e efetiva em diversas áreas do conhecimento, inclusive na computação. Especialmente para o ensino de engenharia de software, jogos têm sido utilizados com o objetivo de fornecer mais oportunidades de aprendizagem prática, contribuindo para a aprendizagem, motivação, engajamento, etc. dos estudantes de computação. No entanto, para confirmar esses benefícios esperados é importante avaliar sistematicamente esses jogos. Porém, atualmente, há poucas abordagens, que forneçam um suporte sistemático para a avaliação de jogos. Entre as poucas abordagens existentes, um modelo de avaliação proeminente parece ser o MEEGA (Model for the Evaluation of Educational Games), que avalia jogos em termos de motivação, experiência do usuário e aprendizagem. No entanto, resultados de uma avaliação em larga escala do modelo MEEGA, mostram limitações em termos de sua validade, indicando uma sobreposição conceitual entre os fatores de motivação e experiência do usuário. Além disso, o modelo MEEGA não define um processo de avaliação de jogos. Nesse contexto, há uma ausência de abordagens válidas e confiáveis, e que forneçam um suporte sistemático, para a definição, execução e análise de dados de avaliações de jogos educacionais. Diante disso, o objetivo desta pesquisa é desenvolver e avaliar um método de avaliação, MEEGA+, que forneça um suporte abrangente para a avaliação da qualidade de jogos usados como estratégia instrucional para o ensino de computação/engenharia de software. Ele é composto por um modelo de avaliação que define fatores de qualidade para serem avaliados por meio de um instrumento de medição padronizado; uma escala, que classifica o jogo avaliado em níveis de qualidade; e um processo de avaliação de jogos. 62 estudos de caso foram conduzidos de modo a avaliar a confiabilidade e validade do instrumento de medição do método MEEGA+, envolvendo uma amostra de 1048 estudantes. Os resultados da análise da confiabilidade indicam uma excelente consistência interna do instrumento de medição do método MEEGA+ (Alfa de Cronbach a=.927). Além disso, os resultados da análise da validade confirmam a estrutura original do método MEEGA+, indicando que a qualidade de jogos para o ensino de computação/engenharia de software é avaliada em termos de usabilidade e experiência do jogador. Adicionalmente, resultados de uma avaliação sob a perspectiva de especialistas, indicam que o método MEEGA+ também é correto, autêntico, consistente e não ambíguo. Portanto, os resultados desta pesquisa indicam que o MEEGA+ é um método válido e confiável e que fornece um suporte sistemático para a avaliação da qualidade de jogos. Assim, o método MEEGA+ pode ser usado por desenvolvedores de jogos, instrutores e pesquisadores de modo a avaliar a qualidade de jogos como base para identificar melhorias e/ou adotá-los na prática para o ensino de computação/engenharia de software.

Abstract : Educational games are supposed to be an effective and efficient instructional strategy for teaching and learning in diverse knowledge areas, including computing. Especially in software engineering education, games have been used in order to provide more practical learning opportunities to computing students, contributing to students learning, motivation, engagement, etc. Thus, in order to confirm these expected benefits, it is important to systematically evaluate such games. However, currently, there are only few approaches, which provide a systematic and comprehensive support for game evaluations. Among the few existing approaches, a prominent evaluation model seems to be MEEGA (Model for the Evaluation of Educational Games), which evaluates games in terms of motivation, user experience and learning. However, results of a large-scale analysis of the MEEGA model, have identified limitations regarding its validity, indicating an overlap of the theoretical concepts of motivation and user experience. In addition, the MEEGA model does not provide a process for game evaluations. In this context, there is a lack of a valid and reliable approach and that provides a systematic support in the definition, execution and data analysis from evaluations of educational games. In this regard, the objective of this research is to develop and evaluate an evaluation method (MEEGA+) providing a comprehensive support for quality evaluations of games used as an instructional strategy for computing/software engineering education. The MEEGA+ method has been systematically developed based on the results of systematic mapping studies. It is composed of an evaluation model defining quality factors to be evaluated through a standardized measurement instrument; a scale, which classifies the evaluated game according to its quality level; and a process, defining phases, activities and work products, guiding researchers on how to plan, execute and analyse the results of game evaluations. In order to evaluate the MEEGA+ method in terms of reliability and validity of its measurement instrument, 62 case studies were conducted involving a sample of 1048 students. Results of the reliability analysis indicate an excellent internal consistency of the MEEGA+ measurement instrument (Cronbach s alpha a=.927). In addition, results of the validity analysis confirm the original structure of the MEEGA+ model, indicating that the quality of games for software engineering education is evaluated in terms of usability and player experience. Moreover, results of a comprehensive evaluation of the MEEGA+ method, based on the experts perspective, indicate that the MEEGA+ method is also correct, authentic, consistent, and unambiguous. Thus, the results of our research indicate that the MEEGA+ is a valid and reliable method and provides a systematic support for quality evaluation of games. It can be used by game creators, instructors and researchers in order to evaluate the quality of games as a basis for their improvement and effective and efficient adoption in practice for computing/software engineering education.