Meta-avaliação do processo de avaliação das ações dos cursos de graduação da Universidade do Estado de Santa Catarina

Abstract

A pesquisa está vinculada ao Programa de Pós-Graduação em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina e visa analisar a qualidade do processo de Avaliação das Ações de Cursos de Graduação (AAC) da Universidade do Estado de Santa Catarina (Udesc), utilizando como referência os padrões de qualidade definidos pelo Joint Committee on Standards for Educational Evaluation (JCSEE). A pesquisa se caracteriza como aplicada, de abordagem mista (quali-quanti) e com viés descritivo e explicativo. Os procedimentos técnicos utilizados foram a pesquisa bibliográfica, a pesquisa documental e a aplicação de questionário. Para a realização da pesquisa, um instrumento meta-avaliativo proposto por Zimmermann (2021) foi adaptado para contemplar os padrões do JCSEE e as especificidades da Udesc. A versão preliminar passou por validação de conteúdo realizada por cinco especialistas, os itens cuja concordância entre os especialistas foi inferior a 80% foram revisados. O instrumento final, com 33 itens, foi utilizado para elaborar três questionários específicos, direcionados à presidente da Comissão Própria de Avaliação (CPA), aos presidentes das Comissões Setoriais de Avaliação (CSA) e aos Diretores de Ensino de Graduação (DEG). A pesquisa identificou como pontos fortes a estruturação da avaliação, a clareza na comunicação dos resultados, o uso de sistema de gerenciamento de informações e a busca por conclusões justificadas. As áreas que necessitam de atenção incluem o fortalecimento da participação na autoavaliação, a otimização do sistema de gerenciamento de informações, a tempestividade na entrega de relatórios e a revisão dos instrumentos. As ações para sanar essas fragilidades contribuirão para consolidar a autoavaliação como um processo ainda mais útil, capaz de gerar resultados importantes para a instituição. Com isso, espera-se que os resultados da pesquisa contribuam para o aprimoramento do Projeto de Avaliação Institucional (PAI) e demais ações de condução do processo de autoavaliação da Udesc. O estudo fomentou reflexões críticas sobre a qualidade do processo de autoavaliação e apresentou contribuições para a disseminação da prática meta-avaliativa no contexto brasileiro.

Abstract: The research is linked to the Graduate Program in Methods and Management in Evaluation of the Federal University of Santa Catarina and aims to analyze the quality of the Assessment of Undergraduate Course Actions (AAC) process at the State University of Santa Catarina (Udesc), using as a reference the quality standards defined by the Joint Committee on Standards for Educational Evaluation (JCSEE). The research is characterized as applied, with a mixed approach (qualitative-quantitative) and a descriptive and explanatory bias. The technical procedures used were bibliographic research, documentary research, and the application of a questionnaire. For the research, a meta-evaluation instrument proposed by Zimmermann (2021) was adapted to include the JCSEE standards and the specificities of Udesc. The preliminary version underwent content validation by five specialists, and the items for which agreement among the specialists was less than 80% were revised. The final instrument, with 33 items, was used to develop three specific questionnaires, directed to the president of the Própria de Avaliação Commission (CPA), the presidents of the Setorial de Avaliação Commissions (CSA), and the Directors of Undergraduate Education (DEG). The research identified as strengths the structuring of the evaluation, the clarity in the communication of results, the use of an information management system, and the search for justified conclusions. Areas that need attention include strengthening participation in self-assessment, optimizing the information management system, timeliness in delivering reports, and reviewing the instruments. The actions to address these weaknesses will contribute to consolidating self- assessment as an even more useful process, capable of generating important results for the institution. With this, it is expected that the research results will contribute to the improvement of the Institutional Evaluation Project (PAI) and other actions to conduct the self-assessment process at Udesc. The study fostered critical reflections on the quality of the self-assessment process and presented contributions to the dissemination of meta-evaluation practice in the Brazilian context.