ChatGPT e educação: testes em Provas Padronizadas e investigação de limitações

Abstract

Com o avanço tecnológico constante, novos mecanismos têm sido desenvolvidos para atender às demandas emergentes. Na Ciência da Computação, a Inteligência Artificial (IA) se destaca como uma das áreas mais dinâmicas, resultando em sistemas inovadores baseados nessa tecnologia. O ChatGPT, embora não seja a primeira IA desenvolvida, tornou-se uma das mais discutidas em razão de sua ampla aplicabilidade. Este projeto avaliou o desempenho do ChatGPT em testes educacionais baseados em provas padronizadas, como o ENCCEJA e a Prova Brasil, com o objetivo de investigar sua eficácia e limitações no contexto educacional. O experimento envolveu a formulação de uma série de perguntas e tarefas baseadas em provas de múltipla escolha que exigiam raciocínio lógico e interpretação textual. Por meio das interações com o ChatGPT, foram registradas as respostas geradas pelo sistema e analisadas em termos de acertos, qualidade e adequação às perguntas propostas. Os resultados demonstraram um desempenho positivo em diversas áreas do conhecimento, como português, matemática e ciências, com um percentual geral de acertos superior a 90%. No entanto, também foram observados erros específicos nas interpretações e raciocínios, evidenciando limitações que podem impactar sua confiabilidade em aplicações educacionais mais complexas.

With constant technological advancements, new mechanisms have been developed to address emerging demands. In the field of Computer Science, Artificial Intelligence (AI) stands out as one of the most dynamic areas, leading to the creation of innovative systems based on this technology. Although not the first AI developed, ChatGPT has become one of the most discussed due to its wide applicability. This project evaluated the performance of ChatGPT in educational tests based on standardized exams, such as ENCCEJA and Prova Brasil, with the aim of investigating its effectiveness and limitations in the educational context. The experiment involved formulating a series of questions and tasks based on multiple-choice exams that required logical reasoning and text interpretation. Through interactions with ChatGPT, the system's responses were recorded and analyzed in terms of accuracy, quality, and relevance to the proposed questions. The results demonstrated positive performance across various areas of knowledge, including Portuguese, Mathematics, and Science, with an overall accuracy rate exceeding 90%. However, specific errors in interpretations and reasoning were also observed, highlighting limitations that may affect its reliability in more complex educational applications.