Construção e busca de evidências de validade de um banco de itens de personalidade para testagem adaptativa desenvolvido a partir dos princípios do desenho universal

Abstract

Na Testagem Universal pessoas com e sem deficiência podem realizar os instrumentos de forma acessível procurando, assim, abarcar a diversidade humana. Esta tese primou pela elaboração de um banco de itens em testagem adaptativa, a qual é uma tarefa de alta complexidade que demanda amplo conhecimento técnico e teórico. Somou-se a tal fato a elaboração de um banco de itens segundo os princípios da Testagem Universal no construto personalidade, Cinco Grandes Fatores. Os objetivos foram: 1) Desenvolver um banco de itens de personalidade e Testagem Universal; 2) Delinear um roteiro para elaboração de testes segundo os princípios da Testagem Universal abrangendo a conceituação do teste, a escolha do número e tipo de itens, as análises e correções, a aplicação em campo, às análises qualitativas e quantitativas e a revisão final; 3) Descrever os desdobramentos alcançados pela Testagem Universal; 4) Construir um instrumento para calibração dos itens; 4) Verificar a dimensionalidade de um banco de itens de Personalidade e Testagem Universal; 5) calibrar os itens de um banco de itens de Personalidade e Testagem Universal; e, 6) Verificar a invariância dos parâmetros dos itens entre os indivíduos com e sem deficiência de um banco de itens de Personalidade e Testagem Universal. Os principais resultados nesta tese apontam para o desenvolvimento da proposta de um Modelo Integrativo de Testagem Universal. Foi construído um instrumento para calibração dos itens de personalidade e Testagem Universal, sendo este implementado em seu formato segundo os mesmos princípios. Foi perpetrada as análises de juízes com a reescritura, a exclusão de itens e a mudança de faceta na medida em que cada um destas ações fez-se necessário. Os itens foram implementados no programa Concerto seguindo o Modelo de BIB escolhido para organização do banco. Ainda, os 525 itens deste estudo foram resumidos em cinco fatores por meio da análise fatorial. Os itens do Banco de Itens tiveram seus parâmetros estimados utilizando o modelo de resposta gradual ou de Samejima, separadamente, em cada um dos cinco fatores resultando em: 64 itens de Abertura, 58 itens de Extroversão, 82 itens de Neuroticismo, 76 de Realização e 37 de Socialização para o BI. Na análise do Funcionamento Diferencial dos Itens consideraram-se como itens indicativos de exclusão aqueles nos quais o DIF apresentou valores de moderados a altos (|DIF| = 0,64), contudo, ainda, submeteram-se os itens a reanálises de Testagem Universal (DIF entre as pessoas com e sem deficiência) e quando constado o não atendimento a algum dos princípios da TU, o item também foi indicado para exclusão. Conclusões: No estudo da dimensionalidade os Cinco Grandes Fatores da Personalidade: Abertura, Realização, Extroversão, Socialização e Neuroticismo, apresentaram resultados semelhantes à literatura científica sedimentada da área. Acresce-se que após a calibração, 317 itens foram considerados aptos a compor o Banco de Itens de Personalidade e Testagem Universal. No tocante à aplicação da Testagem Universal verificou-se que os resultados foram bastante promissores na busca pela invariância dos itens uma vez que poucos itens apresentaram valores de DIF de moderados a altos. Assim, diante dos resultados alcançados, conclui-se que esta tese alcançou as primeiras evidências de validade de um Banco de Itens de Personalidade e Testagem Universal para Testagem Adaptativa.

Abstract : In universal testing, people with and without disabilities can carry out instruments in an accessible way, thus seeking to encompass human diversity. This thesis was based on the elaboration of a database of adaptive testing items, which is a highly complex task that requires extensive technical and theoretical knowledge. It was added to this fact the elaboration of a bank of items according to the principles of the Universal Testament in the construct personality, Big Five. The objectives were: 1) To develop a bank of personality items and Universal Testing; 2) Outline a road map for the preparation of tests according to the principles of universal testing, including the concept of the test, the choice of number and type of items, analyzes and corrections, field application, qualitative and quantitative analysis and final review; 3) Describe the results achieved by universal testing; 4) Construct an instrument to calibrate items; 4) Check the dimensionality of a bank of Personality and Universal Test items; 5) calibrate the items of a bank of Personality and Universal Test items; and, 6) Verify the invariance of the parameters of the items between the individuals with and without deficiency of a bank of Personality and Universal Test items. The main results were: In this thesis was developed the proposal of an Integrative Model of Universal Testing. An instrument for the calibration of personality and universal testing items was constructed, and this one was implemented, in its format, according to these same principles. Judges' analysis of rewriting, item exclusion and facet change was perpetrated - when each of these aspects became necessary. The items were implemented in the Concerto program following the BIB Model chosen for the organization of the bank. Moreover, the 525 items of this study were summarized in 5 factors by means of factorial analysis. The Item Bank items had their parameters estimated using the Samejima step-by-step model, separately, in each of the five factors resulting in: 64 BI opening items, 58 BI extroversion items, 82 items of Neuroticism , 76 of Achievement and 37 of Socialization. In the analysis of the Differential Functioning of the Items, items in which DIF presented moderate to high values (| DIF | = 0.64) were considered as items indicative of exclusion; however, items were also submitted to Universal Testing reanalysis (DIF between people with and without disabilities) and when not complying with some of the TU principles, the item was also indicated for exclusion. Conclusions: In the study of dimensionality, the Big Five: Openness, Conscientiousness, Extroversion, Agreeableness and Neuroticism, presented similar results to the sedimented scientific literature of the area. In addition, after the calibration, 317 items were considered fit to compose the Personality Bank and Universal Testing Items. Regarding the application of the Universal Testing, it was verified that the results were very promising in the search for the invariance of the items since few items presented moderate to high DIF values. Thus, in view of the results achieved, it is concluded that this thesis reached the first evidence of validity of a Bank of Personality Items and Universal Testing for Adaptive Testing.