Análise da resiliência do modelo visão-ação ACT a mudanças visuais em tarefas de manipulação

Abstract

Modelos de visão-ação representam uma alternativa promissora aos métodos tradicionais de programação robótica, porém enfrentam desafios significativos de generalização quando expostos a variações ambientais. Esta pesquisa analisou sistematicamente a robustez do Action Chunking Transformer (ACT) em tarefas de manipulação bimanual sob condições visuais variadas. O estudo objetivou quantificar o impacto de técnicas de data augmentation na capacidade de generalização do modelo frente a alterações de iluminação, cores de objetos e superfícies. Implementou-se uma plataforma experimental com robôs SAM de 7 DoF, sistema de teleoperação e configuração multi-câmera. A coleta de dados compreendeu 54 episódios de demonstração da tarefa de dobrar flanelas, gerando dois datasets: baseline homogêneo e com variações ambientais controladas. Os modelos foram treinados por 100.000 passos utilizando transfer learning com backbone ResNet18 pré-treinado. A avaliação incluiu 24 testes com métricas de taxa de sucesso, eficiência temporal e análise de falhas. O modelo com diversificação de dados demonstrou desempenho superior em todas as métricas, alcançando 54,17% de sucesso completo contra 4,17% do modelo base. Notavelmente, o sistema manteve 100% de eficácia em cenários com todas as variáveis inéditas simultaneamente, indicando aprendizado de representações verdadeiramente invariantes. A análise de progressão sequencial revelou que as falhas concentram-se predominantemente na etapa inicial (70,8% de sucesso), com taxa condicional de aproximadamente 88% nas etapas subsequentes. Os resultados confirmam que a exposição sistemática a variações durante o treinamento possibilita o desenvolvimento de políticas robustas, estabelecendo diretrizes para implementação prática de sistemas robóticos adaptativos.