A avaliação do domínio psicomotor da aprendizagem: estudo para construção de escala de proficiência na educação profissional

Abstract

A análise da proficiência de estudantes é um dos principais componentes em qualquer sistema de avaliação em larga escala, porém apenas a dimensão cognitiva é predominantemente observada, além da aplicação generalizada de testes no modelo papel caneta. A educação profissional precisa ir além, pois mais do que ?saber?, o estudante precisa ?fazer?, ou seja, o importante é conseguir desenvolver na prática suas competências profissionais. Nessa perspectiva, o objetivo deste trabalho é propor uma escala que permita avaliar na prática o domínio psicomotor de estudantes da educação profissional à luz da Teoria de Resposta ao Item (TRI). A população era composta por 5.856 estudantes, do Curso Técnico em Mecânica, do Serviço Nacional de Aprendizagem Industrial (SENAI), sendo selecionada amostra de 1.498 representantes (25,6%) para testagem. Destaca-se que a coleta de dados foi de responsabilidade da instituição, restringindo-se a análise dos dados e proposição de um método para interpretação. As principais metodologias empregadas foram a Revisão Sistemática da Literatura (RSL) para mapeamento de experiências anteriores, aplicação do Modelo Logístico de 2 Parâmetros (ML2P) para calibração dos itens e estimação das proficiências, e definição de critérios estatísticos e técnicos para construção da escala de desempenho. Os resultados apresentaram boa aderência ao modelo TRI utilizado, sendo descartado apenas um dos 32 itens avaliados. A Curva de Informação do Teste (CIT) identificou que o instrumento apresenta informação mais relevante para habilidades no intervalo -2,2 a -0,4 na escala (0, 1), portanto, uma prova considerada de fácil para médio. As evidências foram posicionadas conforme os níveis âncora definidos e segmentas em três cortes, sendo que 15,55% da amostra foi classificada como ?elementar?, 52,47% pertencem ao nível ?moderado? e 31,98% a categoria ?pleno?. Foram sete as principais contribuições concluídas com esse estudo: (1) realce do domínio psicomotor como elemento fundamental na avaliação de estudantes da educação profissional; (2) a RSL identificou poucas publicações mapeadas que tratam desse aspecto, demonstrando a escassez de instrumentos práticos em aplicações dessa natureza; (3) construção do constructo orientada pela taxonomia dos objetivos educacionais adaptada de Dave (1970) e Simpson (1972), bem como a Pirâmide de Miller (1990); (4) êxito na aplicação da TRI como metodologia de análise dos resultados; (5) caráter unidimensional do constructo, embora chama-se atenção para estudos futuros sobre a bidimensionalidade; (6) a possibilidade de realizar a interpretação pedagógica de modo sumário ou detalhado, conforme a necessidade e público; e (7) apontamento das diferenças entre as proficiências dos estudantes quando comparados por Unidade Federativa (UF), sexo e idade.

Abstract : Student proficiency analysis is one of the main components of any large-scale evaluation system, but only the cognitive dimension is predominantly observed, as well as the generalized application of tests in the pen-paper model. Professional education needs to go beyond, because more than \"to know\", the students needs ?how to do?, that is, the important thing is to be able to develop their professional skills in practice. In this perspective, the objective of this work is to propose a scale that allows to evaluate in practice the psychomotor domain of students of professional education in the light of the Item Response Theory (IRT). The population was composed of 5,856 students, from the Technical Course in Mechanics, of the National Service of Industrial Training (SENAI), being selected a sample of 1,498 representatives (25.6%) for testing. It stands out that the data collection was the responsibility of the institution, restricting the data analysis and proposing a method for interpretation. The main methodologies used were the Systematic Review for mapping previous experiences, application of the Two-Parameter Logistic Model (2PL) for item calibration and proficiency estimation, and definition of statistical and technical criterion for construction the performance scale. The results showed good adherence to the IRT model used, being discarded only one of the 32 items evaluated. The Test Characteristic Curve (TCC) identified that the instrument presents information more relevant to abilities in the range -2.2 to -0.4 on the scale (0, 1), thus a test considered easy to medium. The evidences were positioned according to the defined anchorage levels and classified in three cuts, with 15.55% of the sample classified as \"elementary\", 52.47% belong to the \"moderate\" level and 31.98% to the \"full\". There were seven main contributions completed with this study: (1) highlight of the psychomotor domain as a fundamental element in the evaluation of professional education students; (2) the RSL has identified few mapped publications dealing with this aspect, demonstrating the scarcity of practical tools in such applications; (3) construction of the construct guided by the Taxonomy of Educational Objectives of Dave (1970) and Simpson (1972), as well as the Miller's Pyramid (1990); (4) successful implementation of IRT as a methodology for analyzing results; (5) one-dimensional character of the construct, although attention is drawn to future studies on two-dimensional; (6) the possibility of performing the pedagogical interpretation in a summary or detailed manner, according to the need and public; and (7) pointing out the differences between students' proficiencies when compared to the federative unit (UF), gender and age.