Análise das propriedades psicométricas da prova de conhecimentos específicos de licenciatura em ciências biológicas no Enade 2017

Abstract

O ENADE é um exame de desempenho que desde 2004 vem sendo aplicado a concluintes dos cursos de graduação de todo Brasil, tendo avaliado mais de 5 milhões de estudantes de mais de 150 áreas de conhecimento. Porém tal teste utiliza como medida a simples soma de acertos de questões objetivas e das notas de questões discursivas para compor o escore de cada indivíduo, o que se mostra estatisticamente frágil já que não há como calcular o erro padrão da medida. O objetivo geral desse trabalho foi avaliar a qualidade da prova de conhecimentos específicos da área de Licenciatura em Ciências Biológicas - do ENADE 2017, por meio de análise de conteúdo, da Teoria Clássica dos Testes (TCT), de Análise Fatorial e da Teoria de Resposta ao Item (TRI). Por meio de pesquisa documental e análise de conteúdo, foi possível constatar que as ?diretrizes de avaliação?, que orientam a elaboração da matriz de referência, diferem das Diretrizes Curriculares Nacionais (DCN) e sua textualização não é estável ao longo das edições, o mesmo pode ser dito do número de questões por subcomponente (pedagógicas e biológicas) e por tipo (discursivas e objetivas). Além disso, constata-se uma superestimação da gama de conhecimentos que cada questão é capaz de avaliar. Com base nos índices de facilidade, discriminação, concluiu-se que os resultados obtidos na análise psicométrica pela TCT e pela TRI são complementares, sendo que a TRI fornece melhor fundamentação para a seleção dos itens a serem mantidos no instrumento. Dessa forma, pela análise da TCT conduzida pelo INEP, alguns itens pouco informativos para a população avaliada foram mantidos e outros itens com boa discriminação foram eliminados. Por meio da análise das cargas fatoriais, comunalidades e índices de ajustes, é possível concluir que a hipótese de unidimencionalidade da prova de conhecimentos específicos é de difícil sustentação, pois o modelo unidimensional apresentou índices de ajustes em valores limítrofes ao aceitável e o índice de consistência interna (alpha de Cronbach - a) indicou pouca consistência interna dos dados (ainicial=0,566; afinal=0,602). Conjectura-se que alguns formatos de itens contribuem para fragilizar a validade das interpretações dos escores, pois tratados dicotomicamente não avaliam os sujeitos de menor proficiência. Os itens objetivos da prova de Conhecimentos Específicos apresentavam média de dificuldade de 2,2436 (escala 0,1) e erro padrão (EP) = 1,1175. Após a exclusão dos itens com parâmetros inadequados, o instrumento passou a ter uma dificuldade mais condizente com a população avaliada 1,2931 (EP = 0,1573) e com estimativas mais precisas. Apesar disso, pode-se considerar que a prova tem um nível difícil para a população, por 94,33% da população (12.616) estar abaixo do nível de dificuldade médio da prova. Por isso, salienta-se que a aplicação de modelos da TRI (especialmente o pré-teste e a equalização) e de procedimentos de ancoragem na escala pode ser um passo importante em direção ao aprimoramento da validade dos usos e interpretações dos escores do ENADE.

Abstract: The goal of this work was to evaluate the quality of a multiple-choice test of teacher training in Biological Sciences ? the ENADE 2017, this aim was intended through content analysis, TCT, factor analysis and TRI analysis. Through documentary research and content analysis it was found that the \"evaluation guidelines\", which guide the elaboration of the blue print, differ from the National Curriculum Guidelines (witch should follow), and it was verified that ?evaluation guidelines? aren´t stable throughout the editions. The same temporal inconsistency can be observed in the number of items per subcomponent (pedagogical and biological) and by item type (open vs. close ended). In addition, there is an overestimation of the knowledge range that each item can evaluate. Based on the ease and discrimination indices, it was concluded that the results obtained in the psychometric analysis by the TCT and the IRT are complementary, and the IRT provides a better basis for the selection of the items to be kept in the instrument. Thus, by INEP's TCT analysis, some noninformative items for the evaluated population were kept and others with good discrimination were discarded. Through the analysis of factor loadings, commonalities and adjustment indices, it is possible to conclude that the hypothesis of the test unidimensionality is difficult to sustain, since the one-dimensional model presented adjustment indices bordering acceptable values, and the internal consistency index (Cronbach´s alpha - a) indicated poor internal consistency of the data (afirst=0,566; alast=0,602). It is conjectured that some item formats contribute to decrease the score?s validity, since they are artificially dichotomized and thus do not evaluate the less proficient subjects. The standardized average difficulty of specific knowledge items was 2.2436 (SE: 1.1175). After the elimination of items with inadequate parameters, the instrument had an average difficulty more consistent with the population evaluated 1.2931 (SE: 0.1573) and with more accurate estimates. Nevertheless, it can be considered that it was a hard test for that population, for 94.33% of the population (12.616) are below the average difficulty level of the test. Therefore, it must be emphasized that the application of IRT models (especially pretesting and equalization) and scale anchoring procedures can be an important step towards improving the validity of the ENADE?s scores interpretations and uses.