Application of Grasp Quality Convolutional Neural Network for robotic grasping of aircraft parts

Abstract

Agarre automatizado de objetos por robôs têm como um de seus principais desafios a necessidade de agarrar seguramente uma grande variedade de objetos. Para vencer esse desafio, bases de dados grandes são necessárias, especialmente em sistemas que adotam modelos de aprendizagem profunda. Entretanto, gerar esses dados com medições demanda tempo e dinheiro. Pesquisas atuais mostram que é possível agarrar uma grande variedade de objetos com alta precisão utilizando redes neurais convolucionais treinadas em dados sintéticos. Assim, este trabalho apresenta a implementação e análise da capacidade de generalização de uma rede convolucional pré-treinada em dados sintéticos, a Grasp Quality Convolutional Neural Network. Essa implementação também passa pelo sistema de aquisição de nuvens de pontos e imagens coloridas através de uma câmera RGB-D, o processamento desses dados, e a avaliação da qualidade das predições de agarre. Foi feita uma comparação entre a predição utilizando somente a nuvem de pontos e outra acompanhada de uma imagem de segmentação binária, constatando-se que esta última auxilia na fase de alinhamento para o reconhecimento do objeto e consequentemente impacta positivamente nos resultados obtidos. Apesar de ser testada em objetos com geometrias distintas daquelas vistas durante seu treinamento, a rede neural conseguiu generalizar e obteve 41.46% de predições de posição de agarre corretas utilizando como entrada nuvem de pontos e segmentação binária, o que é considerado um resultado positivo dada as milhares de possibilidades para escolha de posição de agarre.

Robotic grasping of objects faces the challenge of reliably grasping a wide variety of objects. In order to overcome this, large datasets are required, especially in systems that adopt deep learning models. However, generating such data with measurements demands time and capital. Recent research shows that it is possible to grasp a wide variety of objects with high accuracy using Convolutional Neural Networks trained on synthetic data. Therefore, this work presents the deployment and analysis of the generalization ability of a convolutional network pre-trained on synthetic data, the Grasp Quality Convolutional Neural Network. This deployment also goes through the acquisition system of point clouds and colour images using an RGB-D camera, the processing of this data, and the quality evaluation of the grasp predictions. A comparison between the prediction using only the cloud of points and another one accompanied by a binary segmentation image was made, finding that the latter helps in the alignment phase for the recognition of the object and consequently impacts positively on the results obtained. Despite being tested on objects with different geometries from those seen during its training, the neural network was able to generalize and obtain 41.46% of correct grasp position predictions using point clouds and binary segmentation images as input, which can be regarded as a positive result, given the amount of possible positions for grasping an object.