Evidências de validade e confiabilidade de uma escala de proficiência para avaliação diagnóstica em matemática com uso da teoria de resposta ao item

Abstract

A presente pesquisa teve como objetivo principal desenvolver uma escala única de proficiência para avaliação diagnóstica em Matemática com evidências de validade e confiabilidade pela Teoria de Resposta ao Item ? TRI. A escala foi desenvolvida com objetivo de contribuir para uma avaliação diagnóstica em Matemática no início do ano letivo no 6º ano. A pesquisa foi realizada em seis etapas. Na primeira etapa foi realizada a criação da matriz de referência, elaborada a partir da Base Nacional Comum Curricular ? BNCC e da Proposta Curricular da Rede Municipal de Ensino de Florianópolis. Na segunda etapa foi realizada a construção do banco de itens que envolveu a elaboração, revisão por meio da análise de juízes e emissão do parecer final sobre os itens. Esta etapa foi iniciada a partir de uma oficina sobre elaboração de itens. Na terceira etapa fez-se a montagem das avaliações obedecendo a representatividade e balanceamento de conteúdo, bem como os níveis de dificuldade dos itens. Na quarta etapa realizou-se a aplicação da avaliação diagnóstica com estudantes do 5º ano do Ensino Fundamental (n = 936), nos meses de setembro a dezembro de 2019. Esta aplicação foi realizada pelos professores das turmas, pela pesquisadora ou pelo professor de Matemática da unidade educativa. A quinta etapa constituiu da análise dos itens e da construção da escala por meio da TRI. Na sexta etapa foi realizada a interpretação dos níveis de proficiência da escala por meio da análise dos pontos de corte e atribuição de nomenclatura para cada nível de conhecimento, que possibilitou realizar a interpretação pedagógica dos resultados obtidos pelos estudantes (escores). Como resultados, obteve-se um banco com 90 itens que apresentaram evidências de validade de construto e de conteúdo, dentre os quais 27 foram calibrados pela TRI. Também foi possível construir uma escala com quatro níveis de proficiência: insuficiente, mínimo, pleno e acima do exigido. Os resultados indicaram que a escala tem consistência interna e boa confiabilidade, pois os itens mediram desde estudantes com baixa proficiência até aqueles com nível avançado de proficiência em Matemática (do nível 150 ao 450). Espera-se que a escala possa subsidiar informações para que os professores de Matemática possam organizar seus planejamentos e escolher metodologias para uma revisão inicial das habilidades não atingidas pelos estudantes nos anos iniciais do ensino fundamental.

Abstract: The present research had as main objective to develop a unique proficiency scale for diagnostic evaluation in Mathematics with evidence of validity and reliability by the Item Response Theory - IRT. The scale was developed with the objective of contributing to a diagnostic evaluation in Mathematics at the beginning of the school year in the 6th year. The research was carried out in six stages. In the first stage, the reference matrix was created, elaborated from the National Common Curricular Base - BNCC and the Curricular Proposal of the Municipal Education Network of Florianópolis. In the second stage, the construction of the item bank was carried out, which involved the preparation, review through the analysis of judges and the issuing of the final opinion on the items. This stage started with a workshop on item elaboration. In the third stage, the evaluations were assembled according to the representativeness and balance of content, as well as the levels of difficulty of the items. In the fourth stage, the diagnostic evaluation was carried out with students from the 5th year of elementary school (n = 936), from September to December 2019. This application was carried out by the teachers of the classes, by the researcher or by the professor of Mathematics of the educational unit. The fifth stage consisted of analyzing the items and building the scale using the IRT. In the sixth stage, the proficiency levels of the scale were interpreted by analyzing the cutoff points and assigning nomenclature for each level of knowledge, which made it possible to carry out the pedagogical interpretation of the results obtained by the students (scores). As a result, a bank was obtained with 90 items that presented evidence of construct validity and content, among which 27 were calibrated by IRT. It was also possible to build a scale with four levels of proficiency: insufficient, minimum, full and above the required. The results indicated that the scale has internal consistency and good reliability, since the items measured from students with low proficiency to those with an advanced level of proficiency in Mathematics (from level 150 to 450). It is hoped that the scale can support information so that mathematics teachers can organize their planning and choose methodologies for an initial review of skills not achieved by students in the early years of elementary school.