Análise de satisfação dos respondentes na autoavaliação em uma instituição de ensino superior utilizando a teoria de resposta ao item

Abstract

As Instituições de Ensino Superior (IES) têm buscado aproveitar as oportunidades de melhoria na gestão, fazendo uso da Autoavaliação Institucional (AAI) como uma ferramenta gerencial para obtenção de educação com qualidade. O processo de AAI é efetuado utilizando instrumentos (questionários), elaborados pela Comissão Própria de Avaliação (CPA), que têm como respondentes, os servidores e discentes das IES. Visa detectar a satisfação ou percepção de qualidade em relação à sua instituição. Complementando a análise que, em geral, usa estatísticas descritivas, o objetivo do estudo foi explorar os recursos disponibilizados pelos procedimentos estatísticos da Teoria de Resposta ao Item (TRI), aproveitando as vantagens e benefícios de sua implementação. Entre estes pode-se citar: a produção de instrumento de avaliação mais adequado para analisar e planejar ações de melhorias na gestão da instituição, a partir das estimativas dos parâmetros dos itens; avaliação dos segmentos de respondentes conjuntamente, explorando a possibilidade de análise de dados perdidos fornecida pela metodologia; usando modelos lineares, obter uma melhor estimativa do construto nível de satisfação dos respondentes; investigar a existência de efeitos de interações entre campus e segmentos; verificar a ocorrência de funcionamento diferencial de itens (DIF) entre os segmentos; e elaborar uma escala de mensuração interpretável da satisfação dos usuários, com a definição de níveis e categorias âncoras. O instrumento foi aplicado na comunidade acadêmica do IFC na AAI de 2017, participando do processo 2.250 pessoas. Nas análises realizadas com a TRI para estimação dos parâmetros dos itens, ou calibração, foi utilizado software na linguagem R ? Package ?MIRT?, indicado para variáveis politômicas ordinais (do tipo ?likert?) e que reconhece dados de ?não respostas?, evitando a redução no tamanho da amostra analisada. O modelo adotado foi o Modelo de Resposta Gradual de Samejima. Os resultados obtidos para a curva total de informação do teste indicam que a maioria dos respondentes está satisfeito, ou considera suficiente o atendimento do indicador de qualidade. A análise dos dados referente à satisfação dos respondentes indica que a TRI permite a identificação dos parâmetros dos itens, a sua curva de informação e o grau de discriminação. Estes aspectos vão contribuir para a obtenção de um questionário mais adequado no sentido de oportunizar sua melhoria contínua, com itens mais apropriados no potencial de discriminação do grau satisfação dos usuários das IES. Ao fornecer uma escala interpretável, colocando os itens e os respondentes simultaneamente na mesma escala de medida, pode gerar relatórios mais informativos. A viabilidade de análise de dados perdidos, reduzindo o erro padrão das estimativas dos parâmetros; a verificação da existência de efeitos de interações entre campus e segmentos; e a investigação de ocorrência de DIFs entre grupos de segmentos; são outros objetivos que foram adequadamente alcançados na execução da pesquisa. As vantagens e oportunidades que o uso da TRI pode fornecer, visando complementar as análises mais tradicionalmente executadas, foram reveladas. Para finalizar, enfatiza-se que os resultados poderão apresentar utilidade mais ampla, podendo ser aplicados em procedimentos avaliativos de outras instituições de ensino, contribuindo para melhorar toda a sistemática de avaliação e de gestão das IES.

Abstract: Higher Education Institutions (HEI) have sought to take advantage of opportunities for improvement in management, making use of Institutional Self-Assessment (AAI) as a management tool for obtaining quality education. The AAI process is carried out using instruments, (i.e. questionnaires), prepared by the Own Evaluation Commission (CPA), whose respondents are the employees and students of the HEI. It aims to detect satisfaction or perception of quality in relation to your institution. Complementing the analyses that, in general, uses descriptive statistics, the goal of the study was to explore the available resources provided by the Item Response Theory (IRT) statistical procedures, taking advantage of the utilities and benefits of its implementation. Among these, we can mention: the production of the most adequate assessment instrument, based on the estimates of the items parameters; jointly assessing respondent segments, exploring the possibility of analyzing missing data provided for methodology; using linear models, obtain a better estimate of the respondent satisfaction level construct; investigate the effects of interactions between campus and segments; verify the occurrence of differential item function (DIF) between the segments; and to develop an interpretable measurement scale of user satisfaction, with the definition of anchor levels and categories. The instrument was applied to the Federal Institute Catarinense (IFC) academic community at AAI 2017, with 2,250 people participating in the process. The analyzes carried out with the IRT to estimate items parameters, or calibration, the package ?MIRT? was used in software R, suitable for ordinal polytomous variables (Llikert type) and which recognizes ?non-response? data, avoiding a reduction in the size of the analyzed sample. The model Samejima Gradual Response Model was used. The results obtained for the total information curve of the test indicate that the majority of respondents are satisfied, or sufficient to meet the quality indicator. The analysis of the data regarding the respondents satisfaction indicates that the IRT allows the identification of the items parameters, their information curve and the degree of discrimination, contributing to obtain a more proper questionnaire. This fact allows for its continuous improvement, with items that are more suitable in terms of the potential for discriminating the degree of satisfaction of HEI users. By providing an interpretable scale, placing items and respondents simultaneously on the same measurement scale, generate more informative reports. The feasibility of analyzing missing data, reducing the standard error of parameter estimates; the verification of the effects of interactions between campus and segments; and the investigation of the occurrence of DIF between groups of segments; they are other goals that have been adequately achieved in the execution of the research. The advantages and opportunities that the use of IRT can provide, aiming to complement the most traditionally performed analyzes, were revealed. Finally, it is emphasized that the results may have a wide utility, being able to be applied in evaluative procedures of other educational institutions, contributing to improve the whole system of evaluation and management of HEI.