A study on implicit behavioral cloning for multimodal behavior learning in autonomous driving

Abstract

A condução autônoma requer tomada de decisão em ambientes complexos e dinâmicos, nos quais podem existir múltiplas ações válidas para um único cenário. Abordagens tradicionais de aprendizado por imitação, como o Behavioral Cloning (BC), apresentam limitações em contextos multimodais, pois tendem a convergir para uma ação média e sofrem com mode collapse. Os Energy-Based Models (EBMs) oferecem uma alternativa ao modelar uma função de energia sobre o espaço de ações, possibilitando o aprendizado de comportamentos mais diversos e adaptáveis. Esta pesquisa investiga o Implicit Behavioral Cloning (IBC), um método baseado em EBM voltado ao aprimoramento do aprendizado de políticas multimodais na condução autônoma. São propostas modificações no algoritmo de treinamento original com o objetivo de aumentar a eficiência do aprendizado da função de energia, resultando no método denominado Data Augmented IBC (DA-IBC). A avaliação do DA-IBC foi conduzida em cenários de condução urbana no simulador CARLA, sob diferentes condições, incluindo a presença ou ausência de rotas pré-determinadas e níveis crescentes de complexidade, com obstáculos dinâmicos como semáforos, pedestres e veículos. O método foi comparado ao IBC e ao BC em tarefas que exigem tomada de decisão multimodal, como interseções. Os resultados indicam que o DA-IBC supera o BC em cenários multimodais. Em interseções com possibilidade de conversão à direita, o agente treinado com BC escolheu essa ação em 94% dos casos, enquanto o DA-IBC distribuiu suas decisões entre seguir à direita (40%), em frente (25%) e à esquerda (35%). Com o aumento da complexidade das tarefas, o DA-IBC apresentou melhor conformidade com os semáforos, reduzindo em 50% as infrações em comparação ao BC, além de aumentar a distância percorrida em 62% em relação ao IBC. Ademais, ao interagir com obstáculos, o DA-IBC evitou a maioria das infrações observadas. Esses resultados sugerem que o DA-IBC constitui uma abordagem promissora para o aprendizado de comportamentos de condução complexos a partir de demonstrações limitadas de especialistas, embora sejam necessárias melhorias adicionais para lidar com cenários que envolvem múltiplos obstáculos simultâneos.

Abstract: Autonomous driving requires decision-making in complex and dynamic environments, in which multiple valid actions may exist for a single scenario. Traditional imitation learning approaches, such as Behavioral Cloning (BC), present limitations in multimodal contexts, as they tend to converge to an average action and suffer from mode collapse. Energy-Based Models (EBMs) provide an alternative framework by learning an energy function over the action space, enabling the development of more diverse and adaptable behaviors. This research investigates Implicit Behavioral Cloning (IBC), an EBM-based method aimed at improving the learning of multimodal policies for autonomous driving. Modifications to the original training algorithm are proposed to increase the efficiency of energy function learning, resulting in a method termed Data Augmented IBC (DA-IBC). The evaluation of DA-IBC was conducted in urban driving scenarios within the CARLA simulator under varying conditions, including the presence or absence of predetermined routes and progressively increasing levels of complexity, with dynamic obstacles such as traffic lights, pedestrians, and vehicles. The method was compared against IBC and BC in tasks that require multimodal decision-making, such as intersections. The results indicate that DA-IBC outperforms BC in multimodal scenarios. At intersections with a possible right turn, the BC-trained agent chose this action in 94% of the cases, whereas DA-IBC distributed its decisions among turning right (40%), going straight (25%), and turning left (35%). As task complexity increased, DA-IBC demonstrated improved compliance with traffic lights, reducing infractions by 50% compared to BC, and also increased the distance traveled by 62% relative to IBC. Furthermore, when interacting with obstacles, DA-IBC avoided the majority of observed infractions. These findings suggest that DA-IBC represents a promising approach for learning complex driving behaviors from limited expert demonstrations, although further improvements are required to enhance decision-making in scenarios involving multiple simultaneous obstacles.