Detecção de objetos em imagens para verificação de vivacidade

Abstract

A biometria facial tem ganhado cada vez mais espaço na validação de identidades. Na mesma medida em que isso ocorre, torna-se necessário diminuir a vulnerabilidade desses sistemas. Um indivíduo pode utilizar uma foto, vídeo ou outro tipo de artefato para tentar se passar por outra pessoa, fraudando sua imagem e burlando o sistema de biometria. Este trabalho propõe um modelo de aprendizado de máquina, baseado na rede YOLO, para identificar objetos ou artefatos em imagens que possam indicar uma fraude biométrica. Além disso, foram realizados testes e validações dos resultados. O modelo proposto alcançou resultados de 24,55% no conjunto de dados MSU-MFSD e de 4,55% no conjunto de dados RECOD-MPAD utilizando métrica HTER. Em uma análise mais detalhada das métricas de precisão e recall para as classes propostas, o modelo apresentou bons resultados na identificação de artefatos como mãos e bordas sobressalentes, que indicam a tentativa de passar algum objeto pela biometria ao invés de uma face real. Apesar dos desafios na identificação de algumas classes e dos resultados discrepantes de HTER, a proposta de detecção de objetos para identificar vivacidade mostrou potencial na identificação de alguns tipos de artefatos que denunciam uma fraude biométrica, podendo ser utilizada em pesquisas futuras.

Facial biometrics have been increasingly used for identity validation. As this technology becomes more widespread, it is necessary to reduce the vulnerability of these systems. An individual can use a photo, video, or other types of artifacts to impersonate someone else, thereby defrauding their image and bypassing the biometric system. This work proposes a machine learning model, based on the YOLOv8 network, to identify objects or artifacts in images that may indicate biometric fraud. Additionally, tests and validations of the results were conducted. The proposed model achieved results of 24.55% on the MSU-MFSD dataset and 4.55% on the RECOD-MPAD dataset using the HTER metric. In a more detailed analysis of precision and recall metrics for the proposed classes, the model showed good results in identifying artifacts such as hands and protruding edges, which indicate an attempt to pass an object through the biometric system instead of a real face. Despite the challenges in identifying some classes and the discrepant HTER results, the proposed object detection approach for liveliness identification showed potential in detecting certain types of artifacts that signal biometric fraud, and it can be used in future research.