Aprendizado Profundo na Viticultura: Técnicas de Segmentação Semântica para Imagens de Uvas

Abstract

Grandes avanços foram realizados na área de visão computacional nos últimos anos, espe- cialmente na aplicação de modelos baseados em Transformers para tarefas de segmentação de imagens. Isto permitiu que diversas áreas do conhecimento se beneficiassem destes mo- delos, uma delas é a agricultura de precisão, na detecção de doenças, estimativa de safras e em outras diversas aplicações. Este trabalho avalia de forma holística a segmentação de imagens, desde a anotação até o treinamento de modelos de aprendizado profundo, com o objetivo de identificar as melhores práticas e ferramentas disponíveis para a segmentação de uvas em imagens de vinhedos. Foram avaliados quatro modelos de segmentação intera- tiva de imagens visando encontrar métodos eficientes para anotar imagens em larga escala. Entre os modelos avaliados, destacaram-se o RITM e o ClickSEG, que apresentaram re- sultados promissores, permitindo a anotação de imagens sem a necessidade de ajustes manuais extensivos ou alto poder computacional. Além disso, quatro modelos baseados em Transformers foram treinados e avaliados na tarefa de segmentação semântica de uvas: SegFormer, MaskFormer, Mask2Former e OneFormer. Uma Focal Loss foi aplicada ao SegFormer para melhorar seu desempenho, apesar de não mostrar-se o melhor modelo, sua performance foi expressivamente melhorada. Os resultados gerais foram próximos entre os modelos, com o Mask2Former se destacando, alcançando um F1-Score de 88,56% e um mIoU de 79,87% em um dataset diurno. As técnicas de anotação e segmentação semântica desenvolvidas com o dataset diurno foram aplicadas a um dataset noturno, obtendo re- sultados satisfatórios, com um F1-Score de 87,03% e um mIoU de 77,53%, demonstrando a robustez dos modelos treinados. Embora este trabalho seja focado na viticultura, as técnicas e conceitos desenvolvidos podem ser facilmente aplicados a outros problemas de segmentação de imagens, inclusive fora do contexto da agricultura de precisão.

Significant advances have been made in the field of computer vision in recent years, especially in the application of Transformer-based models for image segmentation tasks. This has allowed various fields of knowledge to benefit from these models, one of which is precision agriculture, in the detection of diseases, yield estimation, and other diverse applications. This work holistically evaluates image segmentation, from annotation to the training of deep learning models, aiming to identify the best practices and tools available for grape segmentation in vineyard images. Four interactive image segmentation models were evaluated to find efficient methods for large-scale image annotation. Among the evaluated models, RITM and ClickSEG stood out, showing promising results, allowing image annotation without the need for extensive manual adjustments or high computational power. Additionally, four Transformer-based models were trained and evaluated on the task of semantic segmentation of grapes: SegFormer, MaskFormer, Mask2Former, and OneFormer. A Focal Loss was applied to SegFormer to improve its performance; although it did not prove to be the best model, its performance was significantly improved. The overall results were close among the models, with Mask2Former standing out, achieving an F1-Score of 88.56\% and an mIoU of 79.87\% on a daytime dataset. The annotation and semantic segmentation techniques developed with the daytime dataset were applied to a nighttime dataset, obtaining satisfactory results, with an F1-Score of 87.03\% and an mIoU of 77.53\%, demonstrating the robustness of the trained models. Although this work is focused on viticulture, the techniques and concepts developed can be easily applied to other image segmentation problems, even outside the context of precision agriculture.