Uso da engenharia de prompt em LLMs para a resolução de correferência na língua portuguesa

Abstract

Em condições normais de comunicação, elementos linguísticos se articulam em um conjunto coeso, integrado a informações extralinguísticas, formando o que se denomina discurso. A correferência, junto da anáfora – com a qual frequentemente coocorre –, é um fenômeno indissociável da construção dessa estrutura, permeando toda comunicação linguística. Dessa forma, no contexto do Processamento de Língua Natural, a resolução de correferência (RC) é essencial para a compreensão do discurso, contribuindo para o acesso à complexa rede de conexões subjacente a ele. Trata-se de uma tarefa desafiadora, que depende de habilidades linguísticas e extralinguísticas – como compreensão do contexto textual e conhecimento de mundo – e que facilita a execução de diversas outras tarefas de Processamento de Língua Natural. Atualmente, grande parte dos modelos de resolução de correferência com os melhores resultados baseia-se no aprendizado de máquina supervisionado. No entanto, o desempenho dessa abordagem depende altamente de corpora anotados de grande volume, recurso oneroso e escasso no português. Diante desse cenário, o uso de engenharia de prompt em grandes modelos de linguagem pré-treinados se mostra como potencial alternativa menos onerosa aos modelos com o uso de aprendizado supervisionado, visto que dispensa a necessidade de dados anotados para treinamento. Este estudo avalia o desempenho do uso dessa estratégia para a RC de entidade no português por dois modelos de linguagem – o ChatGPT-4O e uma versão do Chat-GPT4 customizada por meio do uso de um system prompt e de arquivos de conhecimento. Para os testes, foram elaboradas duas séries de prompts zero e few-shot. Além disso, foi realizada a revisão de um segmento do corpus Summ-it++ – segundo maior corpus com informação de correferência do português – com base nas diretrizes do corpus OntoNotes, gerando uma versão revisada que foi utilizada, juntamente com a versão original, como corpora de teste. Ambos os corpora foram harmonizados conforme o formato CorefUD, possibilitando a avaliação dos resultados com o uso da ferramenta de avaliação CorefUD scorer, que engloba as principais métricas da área. No CoNLL Score os testes alcançaram um desempenho 17,75% inferior ao do modelo estado da arte na resolução do corpus Summ-it++. Embora não tenha atingido níveis de estado da arte, a abordagem se mostrou promissora e demonstrou um desempenho que, ainda que inferior, é relevante em relação ao dos melhores modelos na resolução do mesmo corpus, sugerindo potencial para futuros aprimoramentos.

Under normal communication conditions, linguistic elements are articulated into a cohesive set, integrated with extralinguistic information, forming what is known as discourse. Coreference, alongside anaphora – which it often accompanies –, is a phenomenon inextricable from the construction of this structure, permeating all linguistic communication. Therefore, in the context of Natural Language Processing, coreference resolution is essential for understanding discourse, contributing to the access to this complex network of connections underlying it. This is a challenging task that relies on both linguistic and extralinguistic skills – such as comprehension of textual context, and world knowledge – and facilitates the execution of various other natural language processing tasks. Currently, most of the best-performing coreference resolution models rely on supervised machine learning. However, the performance of this approach is heavily dependent on large annotated corpora, a costly and scarce resource in Portuguese. Given this scenario, the use of prompt engineering on pre-trained large language models emerges as a potentially less expensive alternative to models that use supervised learning, as it does not require annotated data for training. This study evaluates the performance of this strategy for entity coreference resolution in Portuguese by two language models: ChatGPT-4o and a version of ChatGPT-4 customized with the incorporation of a system prompt and knowledge files. The models were tested using two series of zero and few-shot prompts. Furthermore, a segment of the Summ-it++ corpus – the second largest corpus with coreference information in Portuguese – was revised based on the OntoNotes guidelines, resulting in a revised version that was used alongside the original version as test corpora. Both corpora were harmonized according to the CorefUD format, allowing the evaluation of the results using the CorefUD scorer, which encompasses the main metrics in the field. In the CoNLL Score, the tests reached a performance 17.75% lower than the state-of-the-art model on the Summ-it++ corpus. While it did not achieve state-of-the-art levels, the approach proved promising, delivering performance that, although inferior, was nonetheless relevant compared to the best models for the same corpus, suggesting potential for future improvements.