Zero-shot learning e few-shot learning no desenvolvimento de modelos inteligentes para classificação e análise de documentos jurídicos

Abstract

No campo jurídico, é comum enfrentar o desafio de lidar com uma enorme quantidade de documentos e processos que demandam análise e interpretação minuciosas. Esse trabalho exige um esforço considerável por parte dos profissionais do ramo. No entanto, ao empregar técnicas avançadas de Processamento de Linguagem Natural (PLN), é possível obter benefícios significativos, aprimorando a eficiência, a precisão e a acessibilidade desse processo. Este Trabalho de Conclusão de Curso de graduação busca explorar o desenvolvimento do PLN e o papel que essa área pode exercer no campo jurídico, investigando o potencial do Zero-shot Learning (ZSL) e Few-shot Learning (FSL) na classificação de documentos do âmbito legal. Foram implementados modelos de Deep Learning (DL), baseados em Transformers, aplicando-os ao Direito, a partir do texto contido em peças judiciais, em cenários com pouca ou nenhuma disponibilidade prévia de exemplos de treinamento para cada classe ou categoria de interesse. Foram comparados o desempenho dos modelos em métodos de ZSL e FSL convencionais, em que as classes são todas não vistas ou pouco vistas no treinamento, e em ZSL e FSL generalizados, em que há classes não vistas ou pouco vistas juntamente com classes muito vistas no treinamento. Os resultados foram promissores quando aplicados o ZSL e o FSL generalizados, em especial com o uso dos modelos JurisBERT e BERTimbau, alcançando-se valores em torno de 90% para acurácia e F1-score em um dos datasets utilizados. Mas também foram encontradas dificuldades quando aplicados os métodos de ZSL e FSL tradicionais, obtendo-se desempenhos insatisfatórios mesmo em modelos com pré treinamento especializado em dados jurídicos em português.

In the legal field, it is common to face the challenge of dealing with a huge amount of documents and processes that require detailed analysis and interpretation. This work requires a specific effort on the part of professionals in the field. However, by employing advanced Natural Language Processing (NLP) techniques, it is possible to obtain significant benefits, improving the efficiency, accuracy, and accessibility of this process. This undergraduate course completion work seeks to explore the development of NLP and the role that this area can play in the legal field, investigating the potential of Zero-shot Learning (ZSL) and Few-shot Learning (FSL) in the classification of documents in the legal field. Deep Learning (DL) models, based on Transformers, were implemented and applied to Law, based on the text contained in legal documents, in scenarios with little or no prior availability of training examples for each class or category of interest. The performance of the models was compared using conventional ZSL and FSL methods, in which all classes are rarely seen or rarely seen in training, and generalized ZSL and FSL, in which there are unseen or seen classes together with classes that are often seen in training. The results were promising when applying generalized ZSL and FSL, especially when using the JurisBERT and BERTimbau models, reaching values around 90% for accuracy and F1-score in one of the datasets used. However, difficulties were also encountered when applying traditional ZSL and FSL methods, with unsatisfactory performances being obtained even in models with specialized pre-training on legal data in Portuguese.