Comparabilidade das avaliações educacionais em papel e em computador : um estudo do pisa 2012

Abstract

O presente trabalho teve como objetivo comparar as avaliações educacionais em papel e em computador tendo como base as provas de Matemática do PISA 2012. Mais precisamente, analisou o efeito do modo de aplicação nos dois lados do processo: no instrumento e no avaliando, pelo estudo da dimensionalidade das provas e da comparação tanto das médias de grupos específicos, quanto do nível de dificuldade dos itens. Para as duas primeiras análises, foram utilizadas as respostas dos 1.390 alunos brasileiros que fizeram parte da amostra e que realizaram a prova de Matemática nos dois formatos. A avaliação do número de dimensões foi feita pelo método de análise fatorial de informação completa e o ajuste dos itens aos fatores revelou um conjunto predominantemente unidimensional, indicando a equivalência das provas nesse quesito. A comparação das médias considerou características individuais dos alunos e das escolas: posse de computadores, sexo, ano de ensino e localização da escola (urbana/rural; região/estado), demonstrando o impacto positivo das provas em computador no desempenho dos alunos de quase todos os grupos avaliados. A discussão do nível de dificuldade dos itens foi realizada através de uma análise quali-quantitativa, que levou em conta o posicionamento dos alunos e dos itens na escala geral de Matemática, bem como a dificuldade dos itens em papel e em computador da categoria de conteúdo Espaço e Forma classificados na mesma categoria de processo e contexto. O posicionamento dos 125 itens (84 em papel e 41 em computador) que fizeram parte do estudo indicou que, em geral, a prova em computador foi mais difícil que a prova em papel e que um número muito reduzido de itens em computador estavam adequados ao nível de proficiência da maioria dos alunos brasileiros, sugerindo uma possível superestimação das médias de proficiência nesse modo de aplicação, com impacto ainda maior nos grupos de baixo desempenho. As características distintas dos itens não permitiram obter resultados mais conclusivos quanto à comparabilidade dos dois modos de aplicação.<br>

Abstract : This study aimed to verify the comparability of educational assessments in both paper-based and computer-based formats based on the evidence of PISA 2012 Mathematics tests. More precisely, it examined the effect of the application mode on both sides of the process: in the instrument and in the examinees by the study of the dimensionality of the tests and by the comparison of the specific groups means and the level of items difficulty. For the first two analyzes, the responses of the 1.390 Brazilian students who were part of the sample and did the Mathematics tests in both formats were used. The evaluation of the number of dimensions was taken by the full information factor analysis and the adjustment of the items to the factors revealed a predominantly unidimensional set, indicating the equivalence of the tests in this matter. The comparison of means considered individual characteristics of the students and the schools: computers possession, sex, school year and school location (urban/rural, region/state), demonstrating the positive impact of the computer tests in students' performance in almost all groups evaluated. The discussion about the items difficulty level was accomplished through a qualitative and quantitative analysis, which considered the position of students and items in the Mathematics general scale as well as the difficulty of the paper and computer items of the content category Space and Shape classified under the same category of process and context. The position of the 125 items (84 in paper and 41 in computer) that were part of the study indicated that, in general, the computer-based test was more difficult than the paper-based test and that a very small number of items in computer were adequate to the proficiency level of most Brazilian students, suggesting a possible overestimation of proficiency average in this application mode, with even greater impact on the underperforming groups. The items' distinct characteristics did not allow to obtain more conclusive results regarding the comparability of the two application modes.