Development of a Framework to Enable Human-Drone Interaction Through Natural Gesture Control Using Systems Engineering Methodology

Abstract

Recentes avanços em tecnologia de drone e em interação humano-computador criaram novas possibilidades para controlar unmanned aerial vehicles (UAVs). Os métodos tradicionais de controle de drone geralmente exigem o uso das duas mãos e controladores remotos complexos, o que pode limitar a acessibilidade para usuários com limitações físicas. Este manuscrito apresenta o desenvolvimento de uma estrutura (framework) que permite o controle de drone por meio de gestos naturais com a mão, utilizando o Leap Motion Controller para reconhecimento de gestos e o PX4 flight stack para a operação do drone. As interfaces atuais de controle de drone dependem muito do uso das duas mãos, criando barreiras para usuários com mobilidade reduzida ou que precisem de métodos mais simples de controle. O desafio está em criar um sistema intuitivo e confiável que consiga traduzir com precisão os movimentos da mão em comandos exatos para o drone. O desenvolvimento de sistemas de controle baseados em gestos pode aumentar a acessibilidade e simplificar a interação humano-drone, trazendo benefícios potenciais para áreas como operações de busca e resgate, inspeção industrial e uso recreativo. Esta pesquisa tem como objetivo documentar o processo de decisão no desenvolvimento e validação de um framework para controle de drone baseado em gestos, que permita operação com apenas uma mão em um ambiente Software-In-The-Loop. O estudo segue uma versão adaptada dos procedimentos do NASA Systems Engineering Handbook, focando na definição de requisitos e nas fases de projeto preliminar. O framework integra o Leap Motion Controller para captura de gestos, o ROS 2 para comunicação do sistema e o Gazebo para validação em simulação. O processo de desenvolvimento inclui testes sistemáticos de precisão no reconhecimento de gestos e no controle do drone. O framework resultante demonstra a viabilidade de controlar drones por meio de gestos naturais, oferecendo uma alternativa aos métodos tradicionais. Resultados iniciais de simulação indicam que o sistema consegue traduzir movimentos da mão em comandos para o drone ao mesmo tempo em que mantém a estabilidade de voo e a precisão do controle. Esta pesquisa contribui para a área de interação humano-drone ao fornecer uma abordagem documentada para a implementação de sistemas de controle baseados em gestos, estabelecendo as bases para futuros avanços em interfaces mais acessíveis para drones.

Recent advances in drone technology and human-computer interaction have created new possibilities for controlling unmanned aerial vehicles (UAVs). Traditional drone control methods often require both hands and complex remote controllers, which can limit accessibility for users with physical limitations. This manuscript presents the development of a framework that enables drone control through natural hand gestures, using a Leap Motion Controller for gesture recognition and the PX4 flight stack for drone operation. Current drone control interfaces rely heavily on two-handed operation, creating barriers for users with limited mobility or those requiring simpler control methods. The challenge lies in creating an intuitive, reliable system that can accurately translate hand movements into precise drone commands. The development of gesture-based control systems for drones can increase accessibility and simplify human-drone interaction, potentially benefiting various fields such as search and rescue operations, industrial inspection, and recreational use. This research aims to document the decision processes in developing and validating a framework for gesture-based drone control that enables single-handed operation in a Software-In-The-Loop environment. The study follows an adapted version of NASA Systems Engineering Handbook procedures, focusing on requirements definition and preliminary design phases. The framework integrates the Leap Motion Controller for gesture capture, ROS 2 for system communication, and Gazebo for simulation validation. The development process includes systematic testing of gesture recognition accuracy and control precision. The resulting framework demonstrates the feasibility of controlling drones through natural hand gestures, offering an alternative to traditional control methods. Initial simulation results indicate that the system can effectively translate hand movements into drone commands while maintaining flight stability and control precision. This research contributes to the field of human-drone interaction by providing a documented approach to implementing gesture-based control systems, laying groundwork for future developments in accessible drone interfaces.