Geração Aumentada via Recuperação: combinação de sistemas de busca com grandes modelos de linguagem

Abstract

Este estudo investiga a arquitetura Retrieval-Augmented Generation (RAG) e seu potencial para melhorar a qualidade, precisão e eficiência de sistemas de perguntas e respostas contextualizados. A pesquisa concentra-se em analisar o desempenho do RAG em diferentes configurações, considerando variações nos métodos de recuperação, estratégias de pré-processamento de dados e geração. Utiliza-se o dataset MS MARCO como base de conhecimento para o módulo de recuperação e como benchmark para avaliação. A implementação experimental integra os modelos de linguagem GPT-4o e GPT-4o mini com o banco de dados vetorial Qdrant. Os resultados demonstraram que o LLM com RAG performou bem nas métricas avaliadas, como Recall e MRR, indicando maior acesso a evidências relevantes; em BLEU e ROUGE também, mostrando respostas mais precisas e alinhadas às referências. O estudo confirma que fornecer conhecimento sob demanda ao modelo gerador aumenta sua exatidão factual e confiabilidade. As conclusões indicam que a arquitetura RAG expande eficazmente a capacidade de um LLM responder corretamente a perguntas de conhecimento intensivo, especialmente em cenários dinâmicos onde informações evoluem ou variam conforme o contexto.

This study investigates the Retrieval-Augmented Generation (RAG) architecture and its potential to improve the quality, accuracy, and efficiency of contextualized question and answer systems. The research focuses on analyzing RAG performance in different configurations, considering variations in retrieval methods, data preprocessing strategies and generation. The MS MARCO dataset is used as a knowledge base for the retrieval module and as a benchmark for evaluation. The experimental implementation integrates the GPT-4o and GPT-4o mini language models with the Qdrant vector database. The results demonstrate that LLM with RAG performs well across all evaluated metrics: Recall and MRR, indicating greater access to relevant evidence; in BLEU and ROUGE, showing more precise answers well-aligned with expectations. The study confirms that providing on-demand knowledge to the generator model increases its factual accuracy and reliability. The conclusions indicate that the RAG architecture effectively expands an LLM's ability to correctly answer knowledge-intensive questions, especially in dynamic scenarios where information evolves or varies according to the context.