Avaliação do desenvolvimento do pensamento crítico para o ensino técnico e superior no contexto do ensino de programação

Abstract

O Pensamento Crítico é reconhecido como uma competência essencial para a formação de estudantes de Computação, sendo destacado em diretrizes curriculares internacionais como o SWEBOK e o ACM/IEEE-CS 2023. Apesar dessa relevância, ainda são escassos os instrumentos validados e específicos para mensurar o Pensamento Crítico no ensino de programação, o que limita a pesquisa educacional e o desenvolvimento de práticas pedagógicas fundamentadas. Esta tese apresenta o ProgCTQ (Programming Critical Thinking Questionnaire), um instrumento híbrido desenvolvido para avaliar o Pensamento Crítico em contextos de programação, combinando itens fechados em escala Likert e itens abertos avaliados por meio de rubrica analítica. A construção e validação do instrumento seguiram o referencial do Evidence-Centered Design (ECD), contemplando múltiplas etapas: (i) avaliação de conteúdo e de construto por painel de especialistas, (ii) aplicação em larga escala com estudantes de cursos técnicos e de graduação, e (iii) análises psicométricas quantitativas e qualitativas, incluindo o alfa de Cronbach (a), o Ômega de McDonald (?), a análise fatorial exploratória e confirmatória, bem como a modelagem pela Teoria da Resposta ao Item (TRI). O instrumento foi aplicado a 384 estudantes, e os resultados demonstraram alta confiabilidade global (a = 0,911; ? = 0,925), boa precisão de medida e capacidade discriminativa consistente dos itens, especialmente em níveis médios e baixos de habilidade. As habilidades de Interpretação e Autorregulação apresentaram desempenho psicométrico consistentes, enquanto algumas habilidades como Análise e Explicação mostraram fragilidades, indicando necessidade de revisão. A validade fatorial foi considerada aceitável em termos globais, mas fragmentada entre habilidades, e a validade convergente entre itens fechados e abertos se revelou modesta, sugerindo que os dois formatos captam aspectos distintos, porem consideradores complementares do Pensamento Crítico. As contribuições desta pesquisa se organizam em três eixos principais: (i) teórico, ao aprofundar a compreensão do Pensamento Crítico aplicado ao ensino de programação; (ii) metodológico, ao propor e validar um instrumento híbrido apoiado em métricas psicométricas amplamente utilizadas; e (iii) prático, ao disponibilizar uma ferramenta capaz de apoiar diagnósticos formativos e pesquisas em Educação em Computação. Em síntese, o ProgCTQ constitui uma proposta inovadora e promissora para a avaliação contextualizada do Pensamento Crítico em programação, oferecendo bases para futuras investigações e para a construção de práticas pedagógicas que favoreçam a formação de estudantes críticos, reflexivos e preparados para os desafios da sociedade digital.

Abstract: Critical thinking is recognized as an essential competency for the education of computing students, as highlighted in international curriculum guidelines such as SWEBOK and the ACM/IEEE-CS 2023. Despite its relevance, validated and domain-specific instruments to measure critical thinking in programming education remain scarce, limiting both educational research and the development of pedagogical practices grounded in evidence. This thesis introduces the ProgCTQ (Programming Critical Thinking Questionnaire), a hybrid instrument designed to assess critical thinking in programming contexts by combining closed-ended Likert-scale items with open-ended items evaluated through analytic rubrics. The construction and validation of the instrument followed the framework of Evidence-Centered Design (ECD) and comprised three main stages: (i) content and construct validation by an expert panel; (ii) large-scale application with technical and undergraduate students; and (iii) quantitative and qualitative psychometric analyses, including Cronbach?s alpha (a), McDonald?s omega (?), exploratory and confirmatory factor analyses, as well as modeling through the Item Response Theory (IRT). The instrument was administered to 384 students, and the results indicated high overall reliability (a = 0.911; ? = 0.925), good measurement precision, and consistent item discrimination, particularly at medium and lower ability levels. The skills Interpretation and Self-regulation demonstrated strong psychometric performance, whereas subscales such as Analysis and Explanation showed weaknesses, indicating the need for revision. Factorial validity was acceptable at the global level but fragmented across skills, while convergent validity between closed and open formats was modest, suggesting that both item types capture complementary aspects of critical thinking.The contributions of this research are organized along three main axes: (i) theoretical, by deepening the understanding of critical thinking applied to programming education; (ii) methodological, by proposing and validating a hybrid instrument supported by widely used psychometric methods; and (iii) practical, by providing a tool capable of supporting formative assessment and research in Computing Education. In conclusion, the ProgCTQ represents an innovative and promising approach for the contextualized assessment of critical thinking in programming, offering a foundation for future research and for the development of pedagogical practices aimed at fostering critical, reflective, and adaptive learners in the digital society.