Adaptação transcultural e validade de conteúdo do System for Evaluation of Teaching Qualities (SETQ) Smart para o uso no Brasil

Abstract

Introdução: já se reconhece que o incremento do potencial de aprendizagem dos alunos está diretamente relacionado às qualidades do preceptor. Neste sentido, a avaliação da prática dos docentes impõe-se como um elemento essencial da garantia de qualidade na formação de novos especialistas. Todavia, no contexto da educação médica no Brasil, existem atualmente poucas pesquisas sobre avaliação de preceptores e escassez de instrumentos para essa finalidade. Objetivos: realizar a adaptação transcultural e a validade de conteúdo do System for Evaluation of Teaching Qualities (SETQ) Smart para uso no Brasil. Método: este instrumento é composto por duas versões, uma para autoavaliação do preceptor e outra para avaliação deste pelo residente. As etapas seguidas nos procedimentos de adaptação do SETQ Smart à nossa cultura foram conforme recomendadas por Beaton e colaboradores composto por cinco etapas: duas traduções iniciais para o português brasileiro; duas sínteses das traduções; duas retrotraduções; um comitê de especialistas avaliou a análise das equivalências conceituais, semânticas, idiomáticas e culturais, e pré-teste. A validade de conteúdo foi conduzida por um painel de juízes especialistas que avaliou a concordância, formulação de cada componente quanto à clareza, adequação cultural, relevância de cada item incluído nos respectivos domínios, e necessidade de seu reordenamento. Em seguida, a geração da versão final da avaliação dos preceptores pelos médicos residentes e versão para autoavaliação dos preceptores, retrotradução e submissão à autora. Resultados: participaram da etapa do pré-teste, 40 médicos residentes com média de idade de 32,25 anos (DP=6,13) e 38 médicos preceptores entre os quais 57,9% eram do sexo masculino. Com exceção do enunciado, 80% destes participantes classificaram os componentes do SETQ Smart claros e adequados culturalmente. O painel de juízes especialistas foi composto por 20 médicos, sendo 10 residentes 70% do sexo feminino e 10 preceptores com média de idade de 41,7 anos (DP=6,96). A concordância variou de 80 a 100%, com relação às avaliações para clareza, adequação cultural, representatividade dos itens para seus respectivos domínios e à permanência de cada item no instrumento. Conclusão: este estudo produziu a versão do SETQ Smart para uso no Brasil para avaliação dos preceptores pelos médicos residentes e versão para autoavaliação dos preceptores. Tanto na fase do pré-teste, quanto no contexto do painel de juízes especialistas, todos os itens no instrumento foram considerados claros, válidos e adequados à especificidade da cultura brasileira, apresentando assim, fontes de evidências preliminares de validade das versões.

Abstract: Introduction: it is largely recognized that students? learning potential increase is directly related to preceptor qualities. Thus, preceptor practice assessment present itself as an essential element of quality assurance in training new specialists. However, in the context of medical education in Brazil, there is currently little research on preceptors? assessment and a scarcity of instruments for this purpose. Objectives: carry out a cross-cultural adaptation and content validation of the Smart Teaching Quality Assessment System (SETQ) for use in Brazil. Method: this instrument is composed of two versions, the preceptor's self-assessment and the resident?s preceptor assessment. The steps followed in the procedures for adapting SETQ Smart to our culture were as recommended by Beaton et al and followed five steps: two initial English to Brazilian Portuguese translations; two synthesis translations; two back-translations; expert committee assessment of conceptual analysis, semantic, idiomatic and cultural equivalences, and a pre-test. Content validation was conducted by a panel of expert judges who assessed agreement, each component formulation in terms of clarity, cultural adequacy, relevance of each item included in its respective domains and reordering needs. Culminating in the development of the final versions of the resident?s preceptor assessment and preceptor's self-assessment, back-translation and submission to the author. Results: forty resident physicians, mean age of 32,25 years old (DP=6,13), along with 38 preceptor physicians, 57.9% of them male, participated in the pre-test. Eighty percent of participants rated the components that make up the SETQ Smart, with exception of the title statement, clear and culturally appropriate. The expert panel of judges was composed by a total of 20 physicians, 10 residents, of which 70% were female, and 10 preceptors with mean age of 41.7 years old (DP=6,96). Agreement rates ranged from 80 to 100%, regarding clarity, cultural adequacy, items representativeness within their respective domains and each item permanence in the instrument assessments. Conclusion: this study developed the preceptor's self-assessment and the resident?s preceptor assessment SETQ Smart versions for use in Brazil. All items in the instrument were considered clear, valid and adequate to the specificity of the Brazilian culture, in both pre-test and expert judge panel phases, thus demonstrating preliminary evidence of validity in both versions.