Análise e visualização de ideias com grandes modelos de linguagem (LLMs): um método baseado em técnicas de processamento de linguagem natural

Abstract

This study presents an innovative approach to transforming organizational idea management through the integrated application of Natural Language Processing (NLP) and Large Language Models (LLMs). Acknowledging that traditional idea management systems face significant challenges in handling large volumes of unstructured data, the research proposes a technological solution that combines advanced text analysis techniques with generative artificial intelligence. The study developed a method involving text vectorization using the SBERT model for semantic representation, clustering techniques (K-Means), and dimensionality reduction (PCA and t-SNE) for pattern identification, along with the implementation of a question-answering system based on Retrieval-Augmented Generation (RAG). This approach enabled the analysis of a large corpus of ideas collected from specialized platforms, revealing hidden connections between seemingly distinct proposals. The results demonstrated the system’s ability to identify cross-cutting strategic themes, such as sustainability and technological innovation, that frequently emerge across different idea categories. Advanced semantic analysis proved particularly effective in uncovering synergies between diverse areas, offering new perspectives for strategic decision-making. The implementation of the method using the RAG concept was effective in automating SWOT analyses, risk assessments, and strategic recommendations, significantly reducing the time and effort required for manual idea processing. The developed system showed the ability to transform raw textual data into actionable insights, with practical applications in supporting decision-making. This research opens new perspectives for the use of artificial intelligence in innovation management, highlighting the transformative potential of these technologies to make organizational processes more agile, strategic, and data-driven. The results suggest that the combination of NLP techniques with LLMs represents a significant advancement in overcoming traditional challenges in idea management systems, providing organizations with a powerful tool to navigate an increasingly complex and competitive business environment.

Este trabalho apresenta uma abordagem inovadora para transformar a gestão de ideias organizacionais por meio da aplicação integrada de Processamento de Linguagem Natural (PLN) e Grandes Modelos de Linguagem (LLMs). Partindo do reconhecimento de que os sistemas tradicionais de gestão de ideias enfrentam desafios significativos no tratamento de grandes volumes de dados não estruturados, a pesquisa propõe uma solução tecnológica que combina técnicas avançadas de análise textual com inteligência artificial generativa. O estudo desenvolveu um método envolvendo a vetorização de textos com o modelo SBERT para representação semântica, técnicas de agrupamento (K-Means) e redução de dimensionalidade (PCA e t-SNE) para identificação de padrões, além da implementação de um sistema de perguntas e respostas baseado em Geração Aumentada por Recuperação (RAG). Esta abordagem permitiu analisar um extenso corpus de ideias coletadas de plataformas especializadas, revelando conexões ocultas entre propostas aparentemente distintas. Os resultados demonstraram a capacidade do sistema em identificar temas estratégicos transversais, como sustentabilidade e inovação tecnológica, que frequentemente emergem em diferentes categorias de ideias. A análise semântica avançada mostrou-se particularmente eficaz para descobrir sinergias entre áreas diversas, oferecendo novas perspectivas para a tomada de decisão estratégica. A implementação do método utilizando o conceito de RAG foi eficiente na geração automatizada de análises SWOT, avaliações de risco e recomendações estratégicas, reduzindo significativamente o tempo e esforço necessários para o processamento manual de ideias. O sistema desenvolvido mostrou capacidade para transformar dados textuais brutos em insights acionáveis, com aplicações práticas no apoio à tomada de decisão. A pesquisa abre novas perspectivas para o uso da inteligência artificial na gestão da inovação, destacando o potencial transformador dessas tecnologias para tornar os processos organizacionais mais ágeis, estratégicos e baseados em dados. Os resultados sugerem que a combinação de técnicas de PLN com LLMs representa um avanço significativo na superação dos desafios tradicionais dos sistemas de gestão de ideias, oferecendo às organizações uma ferramenta poderosa para navegar em um ambiente empresarial cada vez mais complexo e competitivo.