Development and validation of synthetic rain for testing of automated driving systems on outdoor proving ground

Abstract

Esta dissertação se insere no domínio do desenvolvimento de sistemas de percepção para aplicações de condução autônoma, uma investigação fundamental para garantir a segurança e a eficiência de veículos autônomos. Os sistemas de percepção dependem da precisão dos sensores e dos algoritmos de tratamento de dados, o que requer testes rigorosos, especialmente em condições climáticas adversas como chuva, nuvens e neve. Assim, o principal objetivo desta dissertação é desenvolver e validar uma instalação de chuva sintética externa para facilitar o teste de sistemas automatizados em condições climáticas adversas. A metodologia propõe a geração de três intensidades diferentes de chuva artificial, que são validadas por comparação com dados reais de chuva, um modelo teórico e dados de chuva sintética gerados em ambiente interno. Este processo de validação envolve várias parâmetros, incluindo dados de um disdrômetro e de uma estação meteorológica. A chuva sintética demonstrou uniformidade garantida na área de teste, reproduzindo com sucesso as três intensidades de chuva propostas. Além disso, foi observado que o vento pode influenciar o processo de geração de chuva externa. Ao serem comparados com dados de chuva real e com um modelo teórico, os resultados obtidos foram demonstrados com padrões semelhantes. Em seguida, a chuva sintética externa apresentou maior semelhança com a chuva real do que a chuva sintética interna, evidenciando-se como um método de teste viável, controlado e reprodutível. Além disso, esse sistema viabiliza a coleta confiável de dados em condições climáticas adversas. Assim, foi realizado um estudo de caso com uma câmera, utilizando técnicas de inteligência artificial para detecção de objetos, com o objetivo de comparar o desempenho do algoritmo em condições de tempo com chuva e sem chuva. Observe que os resultados da detecção de objetos sob chuva sintética são inferiores, em que o algoritmo classifica erroneamente os objetos. No caso treinado, ele detecta barco no lugar de carro. Análises adicionais revelam que a iluminação nas imagens é um fator significativo que influencia os resultados, o que destaca a importância desse aspecto para testes futuros. Os resultados deste trabalho posteriores para a compreensão dos efeitos da chuva na capacidade do algoritmo de percepção, representando um passo fundamental para garantir a segurança dos veículos autônomos em condições ambientais adversas.

Abstract: This dissertation is focused on the area of developing perception systems for automated driving applications, a critical research to ensure the safety and efficiency of autonomous vehicles. Perception systems rely on the accuracy of the perception sensors and algorithms, which require rigorous testing, especially in adverse weather conditions such as rain, fog, and snow. Therefore, the main objective of this work is to develop and validate an outdoor synthetic rain facility to assist in the testing of environmental perception systems under rain conditions. The methodology proposes the generation of three different synthetic rain intensities, that are validated by comparison with real rain data, a theoretical rain model, and synthetic rain data generated indoors. This validation process involves several parameters, including data from a disdrometer and a meteorological station. The synthetic rain exhibited satisfactory uniformity within the test area, effectively replicating the three intended levels of rainfall intensity. Additionally, it was observed that wind can influence the outdoor generation process. When compared with real rain data and a theoretical model, the results obtained demonstrated similar patterns. Subsequently, external synthetic rain showed greater similarity to real rain when compared to internal synthetic rain, proving to be a viable, controlled, and reproducible test method. In addition, this system allows for reliable data collection in adverse weather conditions. Consequently, a case study was conducted with a camera using artificial intelligence techniques for object detection to compare the algorithm's performance in rainy and non-rainy weather conditions. It was observed that the object detection results under synthetic rain were inferior, causing the algorithm to misclassify objects. In this case, it detects a boat instead of a car. Further analysis shows that the illumination in the images is a significant factor influencing the results, highlighting the importance of this aspect for future testing. The results of this work contribute to the understanding of the impact of rain on the perception capabilities of the algorithm, which is a fundamental step towards ensuring the safety of autonomous vehicles in adverse weather conditions.