Diffusion models for offline behavior cloning in autonomous driving scenarios

Abstract

Esta pesquisa investiga a aplicação de modelos de difusão em uma estrutura de Clonagem Comportamental (BC) offline para enfrentar desafios na condução autônoma, particularmente em cenários que exigem tomada de decisão multimodal. O objetivo principal é explorar como esses modelos podem mitigar as limitações das técnicas tradicionais de BC, como o BC baseado em Erro Quadrático Médio (MSE-BC), em termos de expressividade e captura de diferentes comportamentos de especialistas. O estudo levanta a hipótese de que o BC baseado em difusão (Diffusion-BC) pode modelar efetivamente ações complexas de condução e que uma nova arquitetura proposta, Diffusion-2BC, que integra a perda do MSE-BC com o Diffusion-BC, pode aprimorar ainda mais o desempenho, mantendo capacidades multimodais cruciais. Experimentos foram conduzidos em vários ambientes simulados, incluindo uma tarefa simplificada chamada Claw, o CarRacing do OpenAI Gym e o simulador de alta fidelidade CARLA. Essas avaliações envolveram tanto tarefas de BC condicional, onde o agente segue uma trajetória predefinida de referência, quanto tarefas de BC incondicional, onde o agente navega livremente, permitindo a avaliação da aprendizagem multimodal. Os resultados demonstram que o Diffusion-BC consistentemente supera o MSE-BC na captura de distribuições de ação multimodais e na obtenção de melhores métricas de desempenho, por exemplo, no ambiente Claw e no CarRacing (o Diffusion-BC apresentou uma melhora na pontuação de cerca de 35% em relação ao MSE-BC). Além disso, a arquitetura Diffusion-2BC proposta mostrou melhorias significativas, particu- larmente no CARLA. Em tarefas condicionais no CARLA, o Diffusion-2BC aprendeu a navegação livre de infrações mais rapidamente e alcançou maiores distâncias em comparação com o Diffusion-BC e o MSE-BC. Em tarefas complexas de navegação multimodal não guiada dentro do CARLA, o Diffusion-2BC alcançou distâncias médias percorridas substancialmente maiores e exibiu robustamente diversos comportamen- tos de direção multimodal, ao contrário do MSE-BC unimodal ou do menos consistente e performático Diffusion-BC, neste experimento o Diffusion-2BC apresentou uma pon- tuação de cerca de 2.5 vezes a do MSE-BC e de quase 6 vezes a do Diffusion-BC. Este trabalho conclui que os modelos de difusão, especialmente o Diffusion-2BC proposto, oferecem uma abordagem promissora para o desenvolvimento de agentes de aprendizagem por imitação offline altamente performáticos, adaptáveis e expressivos para veículos autônomos.

Abstract: This research investigates the application of diffusion models within an offline Behavior Cloning (BC) framework to address challenges in autonomous driving, particularly in scenarios requiring multimodal decision-making. The primary objective is to explore how these models can mitigate limitations of traditional BC techniques, such as Mean Squared Error-based BC (MSE-BC), in terms of expressiveness and handling diverse expert behaviors. The study hypothesizes that diffusion-based BC (Diffusion-BC) can effectively model complex driving actions and that a novel proposed architecture, Diffusion-2BC, which integrates MSE loss with Diffusion-BC, can further enhance performance while retaining crucial multimodal capabilities. Experiments were conducted in various simulated environments, including OpenAI Gym's CarRacing, and the high-fidelity CARLA simulator. These evaluations involved both conditional BC tasks, where the agent follows a predefined trajectory, and unconditional BC tasks, where the agent navigates freely, allowing for the assessment of multimodal learning. Results demonstrate that Diffusion-BC consistently outperforms MSE-BC in capturing diverse action distributions and achieving better performance metrics, for instance, CarRacing (Diffusion-BC presented a score improvement of almost 35\%). Furthermore, the proposed Diffusion-2BC architecture showed significant improvements, particularly in CARLA. In conditional CARLA tasks, Diffusion-2BC learned infraction-free navigation faster and achieved greater distances compared to Diffusion-BC and MSE-BC. In complex, unguided multimodal navigation tasks within CARLA, Diffusion-2BC achieved substantially longer average travel distances and robustly exhibited diverse driving behaviors, unlike the unimodal MSE-BC or the less consistent Diffusion-BC, in this experiment Diffusion-2BC presented almost 2.5 times the MSE-BC score and almost 6 times the score Diffusion-BC. This work concludes that diffusion models, especially the proposed Diffusion-2BC, offer a promising approach for developing highly performant, adaptable, and expressive offline imitation learning agents for autonomous vehicles.