Análise Comparativa de Grandes Modelos de Linguagem na Avaliação de Sentimentos Sobre o IBOVESPA em Redes Sociais

Abstract

Com o crescente aumento de investidores brasileiros no mercado de ações e a expansão de discussões financeiras em plataformas como o X (anteriormente Twitter), compreender o sentimento dos investidores tornou-se essencial para processos de tomada de decisão. Este estudo realiza uma análise comparativa de grandes modelos de linguagem (LLMs) aplicados à tarefa de análise de sentimentos sobre o IBOVESPA em redes sociais. A pesquisa examinou a eficácia de dois LLMs distintos: o FinBERT-PT-BR, uma adaptação do modelo BERT para textos financeiros em português, e o GPT-3.5 Turbo, na classificação de sentimentos em publicações relacionadas à BOVESPA. Um levantamento dos principais trabalhos relacionados indicou que a maior parte dos estudos está focada no mercado de ações americano e na análise de sentimentos em língua inglesa, utilizando métodos como aprendizado supervisionado (Naive Bayes, SVM e Random Forest) ou técnicas baseadas em dicionários, como o SentimentAnalysis para R. Trabalhos como o de Bollen, Mao e Zeng (2011) alcançaram uma precisão de 86,7% na análise de sentimentos, enquanto outros, como Pagolu et al. (2016), reportaram acurácia de 70,18%. No entanto, nenhum dos trabalhos revisados utilizou LLMs como o BERT ou GPT, destacando o diferencial do presente estudo. Foram coletados dados de postagens no X ao longo de um período de 30 dias, pré-processados para remover conteúdos irrelevantes e, em seguida, analisados com ambos os modelos. Com base na análise inicial dos dados, foram constatadas algumas diferenças na maneira em que os modelos classificam os sentimentos. Dessa forma, 20% dos textos foram classificados manualmente para calcular as métricas de ambos os modelos. As métricas de desempenho indicam que o GPT-3.5 Turbo atinge um F1-score ponderado de 0,863 em comparação com 0,652 do FinBERT-PT-BR, superando-o em todas as principais métricas (precisão, recall e F1-score). O GPT mostrou-se mais eficiente ao classificar os textos como positivos e neutros, enquanto o FinBERT-PT-BR conseguiu classificar a maioria dos textos negativos corretamente, mas mostrou problemas na interpretação de textos subjetivos, ironia e linguagem coloquial. Esses resultados contribuem com o desenvolvimento de índices baseados em sentimentos que podem aprimorar a avaliação do sentimento dos investidores, influenciando potencialmente a tomada de decisões financeiras no mercado de ações brasileiro.

With the increasing number of Brazilian investors in the stock market and the expansion of financial discussions on platforms like X (formerly Twitter), understanding investor sentiment has become essential for decision-making processes. This study conducts a comparative analysis of large language models (LLMs) applied to the task of sentiment analysis regarding the IBOVESPA on social networks. The research evaluated the effectiveness of two distinct LLMs: FinBERT-PT-BR, an adaptation of the BERT model for financial texts in Portuguese, and GPT-3.5 Turbo, in classifying sentiments expressed in posts related to BOVESPA.

A review of the main related works indicated that most studies focus on the American stock market and sentiment analysis in the English language, employing methods such as supervised learning (Naive Bayes, SVM, and Random Forest) or dictionary-based techniques, like SentimentAnalysis for R. Studies such as Bollen, Mao, and Zeng (2011) achieved an accuracy of 86.7% in sentiment analysis, while others, like Pagolu et al. (2016), reported an accuracy of 70.18%. However, none of the reviewed studies utilized LLMs such as BERT or GPT, highlighting the unique contribution of this study.

Data was collected from posts on X over a 30-day period, pre-processed to remove irrelevant content, and subsequently analyzed with both models. Based on the initial analysis of the data, some differences were observed in how the models classify sentiments. Accordingly, 20% of the texts were manually classified to calculate the metrics for both models. The performance metrics indicate that GPT-3.5 Turbo achieves a weighted F1-score of 0.863 compared to 0.652 for FinBERT-PT-BR, outperforming it in all key metrics (precision, recall, and F1-score). GPT proved to be more efficient in classifying texts as positive and neutral, while FinBERT-PT-BR correctly classified most negative texts but showed difficulties in interpreting subjective texts, irony, and colloquial language. These results contribute to the development of sentiment-based indices that can enhance the assessment of investor sentiment, potentially influencing financial decision-making in the Brazilian stock market.