Desenvolvimento de um sistema de segurança colaborativa baseado em rastreamento 3D para operadores e robôs industriais

Abstract

Este trabalho propõe uma solução que integra visão computacional, inteligência artificial e um governador de referência explícito baseado em campos vetoriais para o controle de um manipulador robótico em ambientes com restrições articulares e espaciais. A proposta, validada por meio do conceito de gêmeo digital, visa promover um ambiente de trabalho seguro e colaborativo entre o robô e o ser humano. As restrições espaciais são geradas pela detecção de partes do corpo humano, capturadas por uma câmera de profundidade Intel RealSense D455 e processadas por um modelo de aprendizado de máquina. O sistema ajusta dinamicamente as referências de posição para garantir o respeito aos limites articulares, evitar colisões com obstáculos — modelados como keypoints humanos — e garantir trajetórias seguras. A validação foi realizada por meio de simulações no ambiente Gazebo, utilizando um modelo 3D do robô KUKA KR3 R540 integrado ao ROS. Como métricas de desempenho, foram utilizados o rastreamento das juntas, o respeito às restrições físicas, a evasão de obstáculos, o tempo de reação a emergências e integração das partes simulando um ambiente de trabalho real. O rastreamento das cinco primeiras juntas apresentou erro médio entre 0,145 e 0,175 rad, com erro quadrático médio (RMSE) inferior a 0,19 rad. A junta 6, não modelada no espaço cartesiano, apresentou erro médio praticamente nulo (0,00005 rad). Quanto ao tempo de reação a emergências — simuladas pela inserção súbita de obstáculos a 1 cm dos elos — o sistema respondeu em aproximadamente 11 ms. Além disso, o algoritmo foi capaz de evitar colisões com obstáculos modelados como esferas de 10 cm de raio e garantir que nenhuma junta ultrapassasse seus limites físicos mesmo diante de referências agressivas. Por fim, os resultados verificados por meio da integração de todo o sistema demonstram que o método proposto proporciona bom rastreamento de trajetória, respeita as restrições físicas do sistema e apresenta resposta rápida a emergências, mostrando-se promissor para aplicação em robôs industriais não colaborativos.

This work proposes a solution that integrates computer vision, artificial intelligence, and an explicit reference governor based on vector fields for controlling a robotic manipulator in environments with joint and spatial constraints. The proposed approach, validated through the concept of a digital twin, aims to promote a safe and collaborative work environment between the robot and the human operator. Spatial constraints are generated by detecting parts of the human body, captured by an Intel RealSense D455 depth camera and processed by a machine learning model. The system dynamically adjusts position references to ensure compliance with joint limits, avoid collisions with obstacles — modeled as human keypoints — and guarantee safe trajectories. Validation was carried out through simulations in the Gazebo environment using a 3D model of the KUKA KR3 R540 robot integrated with ROS. Performance metrics included joint tracking, compliance with physical constraints, obstacle avoidance, emergency response time, and full-system integration simulating a real work environment. Tracking of the first five joints showed a mean error between 0.145 and 0.175 rad, with a root mean square error (RMSE) below 0.19 rad. Joint 6, which was not modeled in Cartesian space, exhibited an almost zero mean error (0.00005 rad). Regarding emergency response—simulated by the sudden insertion of obstacles 1 cm from the robot’s links—the system reacted in approximately 11 ms. Additionally, the algorithm successfully avoided collisions with obstacles modeled as 10 cm radius spheres and ensured that no joint exceeded its physical limits, even under aggressive reference conditions. Finally, the results verified through full-system integration demonstrate that the proposed method provides good trajectory tracking, respects the system’s physical constraints, and responds quickly to emergencies, making it a promising approach for application in non-collaborative industrial robots.