Avaliação das habilidades dos discentes de cursos superiores de tecnologia: estudo do Exame Nacional de Desempenho dos Estudantes de 2017 via teoria de resposta ao item

Abstract

A presente dissertação objetiva avaliar, sob a abordagem da Teoria de Resposta ao Item (TRI), os microdados do Exame Nacional de Desempenho dos Estudantes (ENADE) aplicado em 2017 nos Cursos Superiores de Tecnologia (CST): Análise e Desenvolvimento de Sistema, Gestão da Produção Industrial, Redes de Computadores e Gestão da Tecnologia da Informação. A pesquisa concentra-se nos componentes específicos da parte objetiva do exame. Esta dissertação levanta competências exigidas pelo Ministério da Educação e pelo Ministério do Trabalho para tais cursos e as vincula com os itens ENADE através da escala de habilidades da TRI. Verificou-se que, com exceção do exame de Gestão da Produção Industrial, é viável interpretar a escala. Nos resultados de Análise e Desenvolvimento de Sistemas, os níveis da escala contínua identificam 37% dos formandos com competências computacionais, 11% deles também apresentam competências de programação e 1%, além das anteriores, demonstra competências com códigos específicos e raciocínio abstrato. Por problemas na qualidade do exame, não foram vinculadas as competências de 51% dos formandos do curso. Os mesmos procedimentos foram aplicados nos itens do exame de Gestão de Tecnologia da Informação e Redes de Computadores. Conclui-se que o exame não é compatível com a população aplicada e que há itens críticos para o ENADE que foram mantidos na prova. Sugere-se a análise multidimensional dos itens, especialmente de Gestão da Produção Industrial, e a utilização do método TRI durante o processo de elaboração e revisão dos itens ENADE.

Abstract: This dissertation aims at evaluating the microdata from the National Student Performance Exam (ENADE) applied in 2017 to higher technology courses: System Analysis and Development, Industrial Production Management, Computer Networks and Information Technology Management, under the item response theory (TRI) approach. The research focuses on the specific components from the objective part of the examination. This dissertation raises the skills required by the Ministry of Education and the Ministry of Labor for such courses and links them with the ENADE items through the TRI skills scale. It was found that, with the exception of the Industrial Production Management exam, it is feasible to interpret the scale. In the results of Analysis and Systems Development, the levels of the continuous scale identify 37% of the trainees with computer skills, 11% of them also have programming skills and 1%, in addition to the previous ones, demonstrate skills with specific codes and abstract reasoning. Due to problems in the quality of the exam, the competences of 51% of the trainees of the course were not linked. The same procedures were applied to the items in the Information Technology Management and Computer Networks exam. It is concluded that the exam is not compatible with the applied population and that there are items critical to ENADE that were maintained in the test. It is suggested the multidimensional analysis of the items, especially Industrial Production Management, and the use of the TRI method during the process of elaborating and revising the ENADE items.