Embodied-AI agent integrated with quadruped robot for mapping & navigation of flexible assembly environments

Abstract

Este trabalho apresenta o desenvolvimento e validação de um framework de IA incorporada que permite a um robô quadrúpede realizar mapeamento e navegação autônomos em ambientes de montagem flexível por meio de comandos em linguagem natural. A pesquisa aborda a necessidade de sistemas robóticos adaptáveis capazes de operar em layouts de manufatura dinâmicos, onde robôs com rodas tradicionais enfrentam limitações devido a irregularidades do terreno e reconfigurações frequentes do espaço de trabalho. A solução proposta integra um agente baseado em Modelo de Linguagem de Grande Escala com o robô quadrúpede Spot da Boston Dynamics, traduzindo diretrizes humanas de alto nível em ações coordenadas de baixo nível por meio do framework Robot Operating System 2. A arquitetura do sistema emprega componentes modulares e conteinerizados, incluindo os stacks Navigation 2 e Cartographer para navegação autônoma e localização e mapeamento simultâneos, conectados por meio de uma camada de comunicação baseada em Zenoh que permite troca de dados em tempo real entre o computador embarcado do robô e uma estação de trabalho externa na borda da rede. Processos computacionalmente intensivos são transferidos para o dispositivo de borda, enquanto a unidade embarcada gerencia aquisição de sensores e comunicação leve, garantindo operação dentro das restrições de energia e computação do robô. O agente de IA incorporada interpreta instruções em linguagem natural e coordena interações baseadas em ferramentas com os subsistemas de navegação e mapeamento, permitindo reprogramabilidade de tarefas sem modificação manual de código. O framework foi validado por meio de 80 experimentos conduzidos tanto em simulação Webots quanto em um ambiente laboratorial físico representativo de condições de montagem flexível. Sob cenários estáticos e semi-dinâmicos, o sistema alcançou taxas de sucesso de navegação entre 81% e 100%, com o agente interpretando corretamente 78% de todos os comandos em linguagem natural em múltiplos idiomas. Os testes de mapeamento demonstraram geração consistente de grades de ocupação e desempenho confiável de localização ao longo de execuções repetidas. Os resultados indicam que a abordagem de IA incorporada aumenta a autonomia e adaptabilidade de robôs quadrúpedes para tarefas de montagem flexível, estabelecendo uma base para futura colaboração multi-robôs orientada por IA em ambientes de manufatura.

This work presents the development and validation of an embodied-AI framework that enables a quadruped robot to perform autonomous mapping and navigation in flexible assembly environments through natural-language commands. The research addresses the need for adaptable robotic systems capable of operating in dynamic manufacturing layouts, where traditional wheeled robots face limitations due to terrain irregularities and frequent workspace reconfigurations. The proposed solution integrates a Large Language Model-based agent with the Boston Dynamics Spot quadruped robot, translating high-level human directives into coordinated low-level actions through the Robot Operating System 2 framework. The system architecture employs modular, containerized components, including the Navigation 2 and Cartographer stacks for autonomous navigation and simultaneous localization and mapping, connected through a Zenoh-based communication layer that enables real-time data exchange between the robot's onboard computer and an external edge workstation. Computationally intensive processes are offloaded to the edge device, while the onboard unit handles sensor acquisition and lightweight communication, ensuring operation within the robot's power and computational constraints. The embodied-AI agent interprets natural-language instructions and coordinates tool-based interactions with the navigation and mapping subsystems, enabling task reprogrammability without manual code modification. The framework was validated through 80 experimental trials conducted in both Webots simulation and a physical laboratory environment representative of flexible assembly conditions. Under static and semi-dynamic scenarios, the system achieved navigation success rates between 81% and 100%, with the agent correctly interpreting 78% of all natural-language commands across multiple languages. Mapping trials demonstrated consistent occupancy grid generation and reliable localization performance across repeated executions. The results indicate that the embodied-AI approach enhances the autonomy and adaptability of quadruped robots for flexible assembly tasks, establishing a foundation for future AI-driven multi-robot collaboration in manufacturing environments.