An awareness assessment model for collaborative interfaces

Abstract

[Contexto] Nós defnimos percepção (awareness) como um conjunto de processos nos quais reconhecemos, organizamos e damos sentido aos estímulos que recebemos do nosso ambiente. Este conceito tem sido valioso em sistemas colaborativos desde a sua formação, e pesquisas relacionadas acompanharam a evolução de todo o campo nas últimas décadas. Consideramos a percepção como a espinha dorsal de um ambiente colaborativo, na qual toda a colaboração é alcançada. [Problema] Segundo a literatura, a percepção é um conceito bem conhecido, mas ainda não totalmente alcançado. A percepção continua a ser difícil de compreender e pesquisas devem alcançar uma melhor compreensão do apoio concebendo e testando novas tecnologias que ofereçam um suporte adequado. Neste ponto, duas questões permanecem em aberto: primeiro, como entender a percepção e como ela deve ser encarada em aplicações colaborativas e, segundo, como estabelecer uma base para avaliar interfaces colaborativas focadas na percepção. [Objetivo] Este trabalho consiste em estabelecer um modelo de avaliação de percepção para interfaces colaborativas a partir da perspectiva dos participantes, analisando informações de percepção fornecidas pela aplicação. [Método] Esta pesquisa foi realizada em quatro etapas. Primeiro, realizamos um estudo de mapeamento sistemático para identifcar as estratégias mais avançadas adotadas no desenvolvimento e avaliação da percepção e como elas são usadas no contexto colaborativo. Em segundo lugar, elaboramos uma taxonomia que contempla aspectos de percepção e colaboração necessários ao trabalho cooperativo. Terceiro, com base nos fundamentos da literatura, elaboramos um modelo de avaliação. Por fm, nós validamos o modelo de avaliação sob duas perspectivas: i) para melhorar o modelo proposto, expomos os artefatos do modelo à apreciação de seis especialistas por meio da abordagem de painel de especialistas. ii) para verifcar a confabilidade e validade de construto do instrumento, nós executamos três estudos de caso por meio de uma avaliação em larga escala do modelo proposto. Ao todo, foram coletadas 820 observações de usuários e envolveu a participação de 25 examinadores. [Resultado] Realizamos um estudo de mapeamento sistemático para identifcar o apoio à percepção no contexto do sistema colaborativo e compilamos os resultados em uma taxonomia multidimensional de três dimensões principais de percepção: colaboração, espaço de trabalho e contextual, que abrange 75 mecanismos de percepção descritos. Com base nestes resultados, apresentamos um novo método de avaliação para percepção e apoio à colaboração centrado na perspectiva do participante, desenvolvendo um instrumento de medição baseado na Teoria de Resposta ao Item ? TRI. [Conclusão] A metodologia permitiu-nos construir e interpretar uma escala de qualidade para avaliar o suporte à percepção na perspectiva do participante. Os cenários avaliados corroboram a validade do modelo. Primeiro, os resultados do painel de especialistas sugerem que o modelo possui validade de conteúdo. Segundo, os cenários de estudo de caso demonstraram: i) indicadores adequados do ponto de vista dos dados demográfcos e da parametrização da TRI; ii) a aplicabilidade da escala de consciência na perspectiva do participante; e iii) a replicabilidade do modelo para diferentes cenários e contextos.

Abstract: [Context] We defne awareness as a set of processes in which we recognize, organize, and make sense of the stimuli we receive from our environment. It has been a valuable concept in Collaborative Systems since its formation, and awareness research has followed the whole feld?s evolution over the last decades. We consider awareness the backbone of a collaborative environment; all collaborative concepts are archived through it. [Problem] According to the literature, awareness is a well-known but still not fully reached concept; this concept remains diffcult to grasp, and researchers should achieve a better understanding of support by conceiving and testing novel technology that provides awareness. At this point, two issues remain open: frst, how to understand awareness and how it should be faced in collaborative applications, and second, how to establish a basis for evaluating collaborative interfaces focused on awareness. [Goal] This work consists of establishing an awareness assessment model for collaborative interfaces from participants? perspectives by analyzing awareness information provided by the application. [Method] This research was carried out in four steps. First, we perform a systematic mapping study to identify the state-of-the-art strategies adopted in awareness development and evaluation and how they are used in the collaborative context. Second, we elaborate a taxonomy that contemplates awareness and collaboration aspects necessary for cooperative work. Third, based on the foundations of the literature, we elaborated an awareness assessment model. Finally, we validated the assessment model from two perspectives: i) to improve the proposed model, we expose the model?s artifacts to the appreciation of six experts through the expert panel approach. ii) to verify the instrument?s reliability and construct validity, we performed three case studies through a large-scale evaluation of the assessment model. In total, 25 examiners participated, and 820 user observations were collected. [Result] We performed a systematic mapping study to identify awareness support in the collaborative system context. We compiled the results into a multidimensional taxonomy of three main awareness dimensions: collaboration, workspace, and contextual, encompassing 75 awareness mechanisms described in the literature. Based on these results, we present a new assessment method for awareness and collaboration support centered on the participant?s perspective by developing a measurement instrument based on Item Response Theory (IRT). [Conclusion] The methodology allowed us to construct and interpret an awareness quality scale to evaluate the awareness support from the participant?s perspective. The scenarios evaluated corroborate the validity of the model. The expert panel results suggest that the model has content validity. The case study scenarios demonstrated: i) suitable indicators from the perspective of demographic data and IRT parameterization; ii) the applicability of the awareness scale over the participant?s perspective; and iii) the model replicability for different scenarios and contexts.