Escala de proficiências em concepções térmicas: diagnóstico psicométrico de estudantes em Portugal e Brasil

Abstract

O estudo explora procedimentos de análise que fornecem diversas informações dentro de um continuum de desempenhos, sendo múltiplas representações sobre as evidências que constituem uma escala de proficiências. Essas análises possibilitaram realizar um diagnóstico de concepções típicas de 5542 alunos do último ciclo da educação básica em 20 escolas de Portugal (em 2014), e 18 no Brasil (em 2015), diante aos conceitos básicos e introdutórios da Física Térmica. Para isso, foi utilizado um teste de sondagem denominado Thermal Concept Evaluation (TCE), elaborado pelos pesquisadores australianos Yeo Shelley e Marjan Zadnik em 2001, sendo utilizado amplamente na literatura. Adotam-se procedimentos de análise específicos para avaliar Inventários de Conceitos (Fator de Hake; Fator de Concentração de Análise de Lei Bao e Redish), juntamente com modelos de análise psicométrica conhecidos (Teoria Clássica dos Testes; Teoria da Resposta ao Item; e Funcionamento Diferencial do Item) que contemplam uma perspectiva investigativa de educação comparada, seja identificando necessidades pedagógicas comuns e diferenciadas entre os contextos, estimando em parte a eficiência do ensino em Termodinâmica nos sistemas educacionais da rede pública em cada país dentro do recorte preestabelecido, e destacando as condições no uso de testes que favorecem um alinhamento curricular de forma representativa para as populações envolvidas. Consideram-se as contribuições da Didática das Ciências na análise de coerência interna do instrumento, e da Psicologia Cognitivista de David Ausubel como «condições de contorno» para as implicações diante as evidências que possam favorecer uma «aprendizagem significativa». Os perfis de proficiência térmica se configuram em diversas composições de grupos de alunos com base em seus desempenhos, possibilitando um direcionamento instrucional diferenciado para aqueles com maiores dificuldades e para os com alta performance. O teste-reteste (estudo piloto) em 4 escolas portuguesas (n 200, grupos não equivalentes) contribuiu para fornecer maior precisão ao instrumento, apontar fraquezas, demarcar um regime de validez interna e externa, e com isso, apresentar subsídios preliminares para uma investigação mais ampla, detalhada, profunda e consistente. Na investigação ampla, o modelo da TRI de 4 parâmetros logísticos (discriminação, dificuldade, acerto ao acaso, XXXII e erro ao acaso) foi o mais ajustado para explicar as análises dos dados (78,2%). Os resultados gerais da investigação apresentam uma boa consistência (??=0,75) e revelam um teste difícil para ambos os contextos, isso significa que as evidências tendem a discriminar com mais eficiência em um dos extremos da distribuição, no caso, entre os respondentes mais capacitados. O fator de Hake sugere ganhos de baixo impacto em ambos os contextos, estando Portugal sutilmente em condições mais promissoras. O fator de concentração de análise mostra que os respondentes brasileiros se concentraram na região de acerto aleatório, mantendo os mesmos equívocos ao longo das séries de ensino para quase todos os itens, com exceção de 3 itens que sugerem a existência de um modelo mental correto e outro incorreto. Em Portugal, essa análise revela ganhos gradativos nas capacidades cognitivas dos sujeitos de acordo com o avanço nos níveis de escolaridade. O rastreamento na Análise Gráfica dos Itens (AGI) permitiu identificar uma forte atração de distratores entre os alunos mais proficientes, sugerindo dificuldades na compreensão do conceito de equilíbrio térmico, em diferenciar quente e frio como extremidades opostas de um continuum, e de admitir diferentes temperaturas para o ponto de ebulição da água. A construção da escala de proficiências térmicas advinda da TRI estimou probabilidades de acertos empíricos consistentes para os grupos normativos brasileiros em um nível abaixo da média geral (níveis de -1 a 0 da escala), indicando uma compreensão relacionada a prever a temperatura do gelo dentro do congelador , revelando uma ausência de itens-âncoras mais fáceis, e assim, impondo limitações para a escala avaliar sujeitos menos proficientes, pois há uma falta de informações na extremidade inferior da escala. Os alunos portugueses se concentraram nos níveis de 0 a 1 da escala, com um domínio acumulativo que inclui habilidades cognitivas relacionadas a mais 5 itens. Como parte inovadora, tem-se uma perspectiva de análise original em desenvolvimento que identifica preliminarmente redes de concepções entre os itens com indícios de dependência local, fundamentada na coerência das respostas e consistência interna dos itens, determinando níveis de distorção de concepções entre as alternativas apresentadas, considerando uma sub-escala de dimensionalidade nas unidades de medida, com base em níveis de plausibilidade das respostas/alternativas que foram concebidas durante o processo de construção dos itens.

Abstract : The study explores analytical procedures that provide a variety of information within a performance continuum, being multiple representations about evidences that constitute a scale of proficiency. These analyzes made possible to carry out a diagnosis of typical conceptions of 5542 students of the last cycle of basic education in 20 Portuguese schools (in 2014) and 18 in Brazil (in 2015), in face of the basic and introductory concepts of Thermal Physics. For that matter, a test called the Thermal Concept Evaluation (TCE) was used, developed by the Australian researchers Yeo Shelley and Marjan Zadnik in 2001, being used widely in the literature. Specific analysis procedures are used to evaluate Conceptual Inventories (Hake Factor; Lei Bao and Redish Analysis Concentration Factor) along with known psychometric analysis models (Classical Theory of Tests, Item Response Theory, and Differential Item Functioning) that contemplate a comparative education research perspective, either by identifying common and differentiated pedagogical needs between contexts, estimating in part the efficiency of teaching in thermodynamics in the public network educational systems in each country within the pre-established cut, and highlighting the conditions in the use of tests that favor a curricular alignment in a representative way for the populations involved. The contributions of the Didactics of Sciences in the analysis of internal coherence of the study and of the Cognitivist Psychology of David Ausubel are considered as "boundary conditions" for the implications in the face of the evidences that can favor a "meaningful learning". The profiles of thermal proficiency are configured in several compositions of groups of students based on their performances, allowing a different instructional orientation for those with greater difficulties and for those with high performance. The test-retest (pilot study) in 4 Portuguese schools (n 200, non-equivalent groups) contributed to provide greater precision to the study, to point out weaknesses, to delimitated a regime of internal and external validity, and with this, to present preliminary subsidies, to a broader, deeper, more thorough consistent investigation. In the broad investigation, the TRI model of 4 logistic parameters (discrimination, difficulty, guessing, and random error) was the best fit to explain the data analysis (78,2%). The overall results of the research show aXXXVI good consistency (a = 0,75) and show a difficult test for both contexts, which means that the evidence tends to explain more efficiently at one end of the distribution, in the case, between the respondents more skilled. The Hake factor suggests low impact gains in both contexts, with Portugal subtly under more promising conditions. The concentration factor of analysis shows that Brazilian respondents focused on the random hit region, maintaining the same misunderstandings throughout the teaching series for almost all items, except for 3 items that suggest a correct mental model and other incorrect. In Portugal, this analysis reveals gradual gains in the cognitive abilities of the subjects according to the progress in the levels of schooling. Tracking in the Graphical Analysis of Items (AGI) allowed us to identify a strong attraction of distractors among the most proficient students, suggesting difficulties in understanding the concept of thermal equilibrium, in differentiating hot and cold as opposite ends of a continuum, and in admitting different temperatures to the boiling point of the water. The construction of the TRI thermal proficiency scale estimated the probabilities of consistent empirical correctness for the Brazilian normative groups at a level below the general average (levels of -1 to 0 of the scale), indicating an understanding related to "predicting the ice temperature within the freezer", revealing an absence of easier anchor items, and thus imposing limitations for the scale to evaluate less proficient subjects, as there is a lack of information at the lower end of the scale. Portuguese students focused on levels 0 to 1 of the scale, with a cumulative domain that includes cognitive abilities related to 5 more items. As an innovative part, there is a perspective of original analysis in development that preliminarily identifies networks of conceptions among the items with evidence of local dependence, based on the coherence of the answers and internal consistency of the items, determining levels of conception distortion among the presented alternatives , considering a sub-scale of dimensionality in the units of measure, based on plausibility levels of the answers/alternatives that were conceived during the process of construction of the items.