A method for self-assessing the capability of the usability process in small organizations

Abstract

Um mundo cada vez mais transformado e conectado digitalmente representa desafios cada vez mais significativos para as empresas de TI, exigindo maior atenção à usabilidade dos seus produtos de software. Investir no desenvolvimento de software com uma melhor usabilidade, pode reduzir o custo total de desenvolvimento, evitando o retrabalho nas etapas finais do ciclo de vida e acelerando o desenvolvimento. Além disso, produzir produtos com uma melhor usabilidade pode oferecer uma vantagem competitiva aumentando as vendas e a retenção de clientes, aumentando a satisfação do usuário e a aceitação de software no mercado. Assim, é fundamental que as empresas de software estabeleçam seus processos de usabilidade de forma sistemática. Uma das melhores maneiras para uma empresa iniciar um programa de melhoria de processo de software é realizando uma avaliação do seu processo. Essas avaliações geralmente são realizadas por avaliadores externos à empresa. No entanto, uma alternativa para as empresas que procuram avaliações mais leves, especialmente as pequenas empresas, são auto-avaliações. As auto-avaliações podem ser realizadas pela própria empresa para avaliar a capacidade de seu processo. Embora existam métodos de avaliação específicos para avaliar o processo de usabilidade, nenhum deles fornece um método de auto-avaliação, além disso, nenhum deles foi desenvolvido considerando as características específicas das pequenas empresas. Portanto, o objetivo desta pesquisa é propor um método prescritivo para auto-avaliação da capacidade do processo de usabilidade em pequenas empresas. O método contém um modelo de referência de processo de engenharia de usabilidade, uma estrutura de medição, um modelo de avaliação e um processo de auto-avaliação. Para desenvolver tal método, foram realizados mapeamentos sistemáticos da literatura sobre métodos de capacidade/maturidade de processos de usabilidade e métodos de auto-avaliação de processos de software. Uma vez que o estado da arte foi sintetizado, o método para auto-avaliação da capacidade do processo de usabilidade de pequenas empresas (chamado UPCASE) foi desenvolvido usando uma metodologia específica para customizar os modelos de capacidade/maturidade de processo de software e para o design de questionários. Para orientar o desenvolvimento da UPCASE, foram estabelecidas uma série de requisitos para garantir que o método atenda às necessidades das pequenas empresas e que fato avalie a capacidade do processo de usabilidade. O método proposto contém um modelo de referência de processo (PRM), uma estrutura de medição e um modelo de avaliação de processo. A estrutura do método é elaborada com base em ISO/IEC 29110-3 e ISO/IEC 15504. O conteúdo do PRM é baseado em ISO/IEC 18529, um relatório técnico descrevendo um modelo de referência de processo para o processo de design centrado no usuário. Para avaliar o método de avaliação proposto em termos de sua confiabilidade, usabilidade, compreensão e consistência interna, uma série de estudos de caso foi realizada. Os resultados fornecem uma primeira indicação de que o método proposto tem boa usabilidade e compreensão a serem aplicadas por avaliadores não especialistas e que seu questionário é confiável e que seus itens apresentam consistência interna.

Abstract : A world becoming more digitally transformed and connected poses significant challenges for IT organizations, requiring increased attention to the usability of their software products. Investing in developing software with better usability, can reduce overall development cost by avoiding rework at late stages in the lifecycle and speed up development. Moreover, providing products with better usability can offer a competitive edge increasing sales and retaining customers, increasing user satisfaction and software acceptance. Thus, it is of fundamental importance that software organizations systematically establish usability processes. One of the best ways for an organization to start a software process improvement program is performing a process assessment. These assessments are typically performed by external assessors. Yet, an alternative for organizations seeking for lighter assessments, especially the small organizations, are self-assessments. Self-assessments can be carried out by an organization on its own to assess the capability of its process. Although there are specific assessment methods to assess the usability process, none of them provides a self-assessment method, nor has been developed considering the specific characteristics of small organizations. Therefore, the objective of this research is to propose a method for self-assessing the capability of the usability process in small organizations. The method contains a usability engineering process reference model, a measurement framework, an assessment model, and a self-assessment process. To develop such method, systematic mapping studies on usability capability/maturity models and software process self-assessment methods were performed. Once the state-of-the-art was synthesized, the method for self-assessing the capability of the usability process of small organizations (UPCASE) was developed using a methodology specific for customizing software process capability/maturity models and for questionnaire design. To guide the development of UPCASE, a series of requirements have been established to ensure that the method meets the needs of small organizations and in fact measures the capability of the usability processes. The proposed method contains a Process Reference Model (PRM), a Measurement Framework and a Process Assessment Model. The structure of the method is elaborated based on ISO/IEC 29110-3 and ISO/IEC 15504. The content of the PRM is based on ISO/IEC 18529, a technical report describing a process reference model for the human-centred design process. In order to evaluate the proposed assessment method UPCASE in terms of its reliability, usability, comprehensibility and internal consistency a series of case studies has been performed. Results provide a first indication that the proposed method has good usability and comprehensibility to be applied by non-expert assessors, and that its questionnaire is reliable and has internal consistency.