Comparabilidade de testes educacionais impressos e informatizados pela teoria de resposta ao item

Abstract

O presente trabalho tem como objetivo comparar a aplicação de testes de avaliação educacional em larga escala em diferentes meios (impresso e informatizado) através de análise do Funcionamento Diferencial do Item (DIF) que fazem uso da Teoria da Resposta ao Item (TRI). Para tanto, foi analisada uma base de dados secundária, oriunda da aplicação do simulado intitulado Simulado DF 2016 , aplicado em 2016, na cidade de Brasília (Distrito Federal), com base nos cadernos, cinza e branco, os mesmos utilizados na aplicação do Enem PPL 2011. O simulado foi conduzido pela Secretaria de Estado de Educação do Distrito Federal (SEEDF), em parceria com o Cebraspe, e foi aplicado em estudantes de escolas públicas e privadas com matrícula para a 3ª série do Ensino Médio e Educação para Jovens e Adultos, de 136 escolas pública e 50 particulares, contabilizando 20.399 estudantes em Humanas (CHT), 20.259 em Natureza (CNT), 16.708 em Linguagens (LCT) e 16.913 em Matemática (MTT). Para cada área do conhecimento, foi ajustado um modelo logístico unidimensional de três parâmetros (ML3) da TRI, modelado no software Bilog-MG. Os ajustes obedeceram a verificação do pressoposto de unidimensionalidade, geração dos parâmetros dos itens para cada modelos e, posteriormente para verificação da comparabilidade, a verificação da presença de DIF entre os gupos impresso e informatizado. Dos 185 itens analisados nas quatro áreas do conhecimento, somente o item 55 da aplicação CNT apresentou DIF (diferença máxima de 0,18694). A presença de apenas um item com DIF fornece base para apontar similaridade dos desempenhos dos itens entre os meios de aplicação impresso e informatizado para o Simulado DF 2016, desde que sejam empregadas as mesmas condições de aplicação informatizada utilizada, a saber: características de imagens dos itens em escala de cinza, mesma ordem de apresentação dos testes em relação ao teste impresso, e possibilidade de avanço e retrocesso dos itens, possibilidade de revisar e editar as respostas marcadas antes da finalização do teste.

Abstract : The present study aimed to compare the application of a test for large-scale assessment in different formats (paper-based and computer-based) by the analysis of DIF - Differential Item Functioning that make use of IRT - Item Response Theory. For this purpose, a secondary database based on the simulation titled \"Simulated DF 2016\", applied in 2016, in the city of Brasília (Distrito Federal), based on the tests, gray and white, the same ones used in the application of the Enem PPL 2011. The simulation was conducted by the State Department of Education of the Federal District (SEEDF), in partnership with Cebraspe, and was applied to students from public and private schools with enrollment for the 3rd year of High School and Education for Young and Adults, from 136 public and 50 private schools, accounting for 20,399 students in Humanities (CHT), 20,259 in Nature (CNT), 16,708 in Languages (LCT) and 16,913 in Mathematics (MTT). For each area of knowledge, a one-dimensional three-dimensional logistic model (ML3) of TRI was modeled in the Bilog-MG software. The adjustments were based on the verification of the unidimensionality pressure, generation of the parameters of the items for each model and, later, to verify the comparability, the verification of the presence of DIF between the printed and computerized groups. Of the 185 items analyzed in the four areas of knowledge, only item 55 of the CNT application presented DIF (maximum difference of 0.18694). The presence of only one item with DIF provides a basis for indicating similarity of the performances of the items between the printed and computerized means of application for the Simulated DF 2016, provided that the same conditions of computerized application are used, namely: items in gray scale, the same order of presentation of the tests in relation to the printed test, and possibility of advancement and retraction of the items, possibility to review and edit the answers marked before the test finalization.