Question Answering aplicada à bases de Teses e Dissertações utilizando Modelos de Linguagem

Abstract

A Pós-Graduação Stricto Sensu, como componente do Sistema Nacional de Pós-Graduação (SNPG), é responsável pela formação de mestres e doutores, resultando na produção de documentos caracterizados como teses e dissertações. Tais documentos estão disponíveis em vários repositórios mantidos pelas instituições que fazem parte do SNPG. Contudo, a recuperação e análise desses documentos representam desafios, devido principalmente, ao volume, à complexidade dos assuntos e à falta de ferramentas que auxiliem na tomada de decisão por parte das Coordenações. Neste contexto, o presente trabalho propõe um método dividido em seis etapas voltado a Resposta a Perguntas (QA). Para tal, emprega técnicas de Processamento de Linguagem Natural (NLP), incluindo Grandes Modelos de Linguagem (LLMs) e Geração Aumentada por Recuperação (RAG), para oferecer uma solução adaptada às necessidades de exploração de informações em bases de teses e dissertações de Programas de Pós-Graduação (PPGs). A avaliação do método foi efetuada utilizando 150 documentos coletados do Programa de Pós-Graduação em Engenharia, Gestão e Mídia do Conhecimento (PPGEGC) da Universidade Federal de Santa Catarina (UFSC), abrangendo teses e dissertações das três áreas de concentração do Programa. Esta foi conduzida com dois experimentos principais. O primeiro demonstrou resultados adequados quanto à acurácia na recuperação de documentos, atingindo mais de 90% em alguns cenários. Já o segundo, apresentou a geração de texto sintetizando resultados de buscas e produzindo conclusões visando subsidiar análises estratégicas. Dessa forma, os resultados obtidos evidenciam a aplicabilidade do método na recuperação de informações em cenários acadêmicos, com o intuito de facilitar a análise do conteúdo de teses e dissertações. O trabalho também destaca a potencialidade do método como ferramenta de suporte para a gestão estratégica dos Programas de Pós-Graduação, oferecendo subsídios para o planejamento e a tomada de decisão baseados em dados.