Aprendizagem profunda em imagens citológicas: identificação e caracterização de objetos corados com a técnica AgNOR

Abstract

O câncer do colo do útero é o quarto tipo de câncer mais comum e mortal nas mulheres nos últimos anos. Uma maneira de diagnosticar este tipo de câncer é através da citologia, que se mostra uma técnica viável e capaz de detectar precocemente o câncer. Porém, a análise e/ou diagnóstico deste tipo de exame é feito de maneira manual com profissionais treinados, e isto é propenso a erros humanos por diversos fatores. Na citologia é necessário o uso de um corante para destacar as células e suas características, sendo o Papanicolau a técnica padrão para o câncer do colo do útero, porém em alguns casos métodos coadjuvantes são necessários para um diagnóstico completo. Neste trabalho, amostras cervicais coradas com a técnica coadjuvante AgNOR foi utilizada. A partir destas amostras, imagens são capturadas para realização da identificação e caracterização das células utilizando modelos de Deep Learning do estado da arte. O diagnóstico destas células ocorre através da contagem/detecção dos núcleos e NORs ? Regiões Organizadoras Nucleolares. Os NORs são estruturas celulares muito pequenas presentes nos núcleos, para detectá-los foi utilizado o método de segmentação semântica. Foi comparado modelos do estado da arte (HRNet e SegFormer) com a rede U-net tradicional usando ResNets como backbone. Os resultados apresentaram o modelo transformer, SegFormer, como o melhor modelo para segmentar núcleos. Sendo a HRNet o melhor modelo para segmentar os NORs. Foi utilizado como pós-processamento um algoritmo de componentes conexas com uma filtragem por tamanho, para extrair as instâncias dos objetos a partir da saída destes modelos. A HRNet mostrou-se mais adequado para segmentação de imagens AgNOR na totalidade, com 0,85 de precisão, 0,85 de recall e 0,85 F-score para detecção dos núcleos, e 0,7 de precisão, 0,55 de recall e 0,62 F-score na detecção de NORs.

Abstract: Cervical cancer is the fourth most common and deadly cancer in women in recent years. One way to diagnose this type of cancer is through cytology, which is a viable technique capable of detecting cancer in its early stages. However, the analysis and/or diagnosis of this type of exam is done manually with trained professionals, and this is prone to human errors due to several factors. In cytology, it is necessary to use a stain to highlight the cells and their characteristics, the Pap-smear being the standard technique for cervical cancer, but in some cases supporting methods are necessary for a complete diagnosis. In this work, has been utilized cervical samples stained with the AgNOR, an adjuvant technique. From these samples, images are captured to perform cell identification and characterization using state-of-the-art Deep Learning models. The diagnosis of these cells occurs through the counting/detection of nuclei and NORs - Nucleolar Organizing Regions. The NORs are very small objects present in the nuclei, to detect them has been employed semantic segmentation methods. Comparing state-of-the-art models (HRNet and SegFormer) with the traditional U-net network using ResNets as a backbone. The results showed the transformer model, SegFormer, as the best model to segment the nucleus. HRNet is the best model to segment NORs. An algorithm of connected components with filtering by area was used as post-processing to extract the object instances from the output of these models. HRNet showed to be more suitable for segmenting AgNOR images in their entirety, with 0.85 precision, 0.85 recall, and 0.85 F-score for nuclei detection, and 0.7 precision, 0.55 recall, and 0.62 F-score in the detection of NORs.