Artificial intelligence algorithms application to the problem of automatic selecting integration tests

Abstract

As mudanças que o modelo de gestão de projetos vem sofrendo traz grandes vantagens às empresas, porém novas problemáticas são inseridas. Nos métodos clássicos de desenvolvimento, um projeto é realizado na forma de "cascata", ou seja, primeiro o modelo é construído, depois é realizado o desenvolvimento e por último o projeto é validado por testes. Esse modelo é custoso em termos de validação, pois as falhas são encontradas apenas na fase final de produção, tornando a correção mais difícil e cara. Atualmente o modelo dito "ágil" é utilizado, onde diversos ciclos de planejamento-desenvolvimento-testes são realizados, tornando o processo mais rápido e flexível. Contudo, esse modelo inviabiliza a execução de todos os testes necessários na produção de um veículo, pois não há tempo hábil para a execução deles, além de não ser necessário testar certas funções em todas as etapas do projeto. Por exemplo, testar o Bluetooth do carro antes mesmo do sistema multimédia ser implementado é inconcebível. Visto a necessidade de selecionar uma quantidade limitada de teste para cada etapa do projeto, o estudo de como selecionar de forma automática e segura é necessário. O objetivo do projeto aqui apresentado é de estudar formas de selecionar testes de acordo com as funcionalidades do software, bem como a relação entre a confiabilidade do sistema em relação aos testes realizados. O trabalho foi realizado na empresa Renault Software Labs em Toulouse, uma divisão de pesquisa e desenvolvimento do grupo Renault. Tal projeto é uma proposta de tese de doutorado, portanto durante o estágio de 6 meses, as fases iniciais foram desenvolvidas: coleta e preparação de dados. Os dados coletados são referentes à descrição dos testes do catalogo da Renault, ao histórico de execução desses testes e também aos defeitos encontrados por eles durante a fase de validação de softwares para veículos conectados. Além disso, foi realizado um estudo bibliográfico inicial a fim de identificar as diferentes abordagens e metodologias existentes. Por fim, foram realizadas análises das informações adquiridas e da relevância de cada uma em relação ao resultado dos testes.

The changes that the project management model has undergone bring great advantages to companies, but new problems are introduced. In the classic methods of development, a project is carried out in the form a "V" form, that is, first the model is built, then development is carried out and finally the project is validated by tests. This model is costly in terms of validation, as the flaws are found only in the final stage of production, making the correction more difficult and expensive. Currently, the so-called "agile" model is used, where several planning-development-testing cycles are performed, making the process faster and more flexible. However, this model makes it impossible to carry out all the necessary tests in the production of a vehicle, as there is no time to execute them, and it is not necessary to test certain functions at all stages of the project. Given the need to select a limited amount of test for each stage of the project, the study of how to select automatically and safely is necessary. The objective of the project presented here is to study ways to select tests according to the software's functionalities, as well as the relationship between the reliability of the system in relation to the tests performed. The project took place at Renault Software Labs in Toulouse, a research and development division of the Renault group. Such a project is a doctoral thesis proposal, so during the 6-month internship, the initial phases were developed: data collection and preparation. The collected data refer to the description of the tests in the Renault catalog, the history of the execution of these tests and also the defects found by them during the software validation phase for connected vehicles. In addition, an initial bibliographic study was carried out in order to identify the different existing approaches and methodologies. Finally, analyzes were performed on the information acquired and the relevance of each in relation to the test results.

Les changements de modèle de développement de projet logiciel apportent de grands avantages aux entreprises, mais se heurtent à de nouveaux problèmes. Dans les méthodes classiques de développement, un projet est développé en suivant le process en cycle dit « V », c’est-à-dire que le produit est d’abord spécifié, puis le développement est effectué et ce n’est qu’à la fin de ce cycle que tout le produit est validé par des tests. Ce modèle est coûteux en termes de validation car la détection des fautes s’effectue qu’à la fin du processus de production, rendant la correction plus difficile et plus coûteuse. Actuellement, les modèles appelés « agiles » commencent à être utilisés, où plusieurs cycles de planification-développement-test sont effectués rendant le processus de développement plus rapide et plus flexible. Cependant, l’exécution de tous les tests nécessaires au test d’un véhicule devient impossible dans les temps impartis par les cycles courts et successifs de ces méthodes agiles. Compte tenu de la nécessité de sélectionner une quantité limitée de tests pour chaque étape du projet, il est nécessaire d’étudier une méthode de sélection automatiquement de tests en prennent tenant en compte les risques liés à la détection de défaut. L’objectif du projet présenté ici est d’étudier les modalités de sélection de tests en fonction des fonctionnalités du logiciel, ainsi que la relation entre la fiabilité du système par rapport aux tests effectués. Le projet s’est déroulé au sein de l’entreprise Renault Software Labs à Toulouse, une division de recherche et développement du groupe Renault. Le projet, dans son ensemble, est une proposition de thèse. Le stage de 6 mois, préliminaire à cette thèse, s’est concentré sur la phases initiales du projet : la collecte et la préparation des données. Les données collectées sont tirées de la description des tests dans le catalogue de test Renault, de l’historique d’exécution de ces tests ainsi qu’aux défauts constatés lors de leur exécution durant les phases de validation logicielle des véhicules connectés. Dans un même temps, une première étude bibliographique a été menée afin d’identifier les différentes approches et méthodologies existantes sur le thème de ce stage. En fin de rapport, des analyses ont été réalisées sur les informations acquises, ainsi que sur la pertinence de chacune par rapport aux résultats des tests.