Avaliação psicométrica da medida do componente de formação geral da prova do Exame Nacional de Desempenho de Estudantes (ENADE) de 2010, 2011 e 2012

Abstract

O Exame Nacional de Desempenho de Estudantes (ENADE) é parte do Sistema Nacional de Avaliação da Educação Superior (SINAES) e consiste em uma prova composta pelos componentes da Formação Geral, comum a todas as áreas de conhecimento, e do Componente Específico de cada curso. Dada a existência de poucos estudos específicos sobre o componente da Formação Geral, que é aplicado anualmente e sua utilização na regulação da Educação Superior brasileira é imprescindível avaliar a qualidade desse componente com base na teoria da medida. Para tanto, avaliou-se os três anos correspondentes ao terceiro ciclo do ENADE ? 2010, 2011 e 2012. Entre as questões objetivas do exame, identificou-se apenas uma dimensão predominante na prova de cada ano por meio da análise fatorial de correlações tetracóricas com o método dos resíduos mínimos. Verificou-se baixa consistência interna desses itens, com Alfa Cronbach variando entre 0,28 e 0,40 e médias de Correlação Ponto-Bisserial dos itens variando entre 0,14 e 0,23. Desta forma, sob a ótica da Teoria Clássica dos Testes, conclui-se que a nota referente às questões objetivas desse componente não deveria ser utilizada para a tomada de decisões. Adicionalmente, por meio da Teoria de Resposta ao Item, se realizou a análise de uma hipotética escala unidimensional extraída dessas questões e, foi observado que alguns itens não se ajustavam ao um modelo unidimensional de cada ano. Comparou-se o ajuste dos modelos logísticos de três e quatro parâmetros e verificou-se que o último teve melhor ajuste aos itens, com ganho de variância explicada em todos os anos. Por fim, propõe-se a utilização de um modelo de itens de formato misto, permitindo calibrar simultaneamente os itens objetivos e discursivos em uma única escala, aumentando a precisão da medida e integrando as notas desses dois tipos de questões, atualmente calculadas separadamente.

Abstract : The National Student Performance Examination (ENADE) is part of the National System for the Evaluation of Higher Education (SINAES) and consists of a test composed of the components of General Formation, common to all areas of knowledge, and of the Specific Component of each course. Given the existence of few specific studies on the General Formation component, which is applied annually and its use in the regulation of Brazilian Higher Education, it is essential to evaluate the quality of this component based on the measurement theory. In order to do so, the three years corresponding to the third cycle of ENADE - 2010, 2011 and 2012 were analyzed. Among the objective questions of the examination, only one predominant dimension was identified in the test of each year by means of the factorial analysis of tetracorical correlations with the method of the minimum residues. There was a low internal consistency of these items, with Cronbach?s Alpha varying between 0.28 and 0.40 and means of Point-Bisserial Correlation of items varying between 0.14 and 0.23. Thus, from the standpoint of the Classical Theory of Tests, it is concluded that the note regarding the objective questions of this component should not be used for decision making. Additionally, through the Item Response Theory, an analysis of a hypothetical one-dimensional scale extracted from these questions was performed, and it was observed that some items did not fit the one-dimensional model of each year. The adjustment of the logistic models of three and four parameters was compared and it was verified that the last had better adjustment to the items, with gain of variance explained in all the years. Finally, it is proposed to use a mixed-format item model, allowing simultaneous calibration of objective and discursive items on a single scale, increasing the precision of the measurement and integrating the notes of these two types of questions, currently calculated separately.