Avaliação de impacto de periódicos ibero-americanos com base no índice h5 do Google Scholar Metrics

Abstract

Proposta de framework de avaliação de impacto de periódicos Ibero-Americanos com base no índice h5 do Google Scholar Metrics. O framework Gsm@hdata é composto por três dimensões: uma teórica, uma tecnológica e uma analítica. A dimensão teórica aplica conceitos de análise de citação no índice h5, a dimensão tecnológica é representada por uma ferramenta bibliométrica de pesquisa, extração e análise de dados do Google Scholar Metrics e a dimensão analítica aplica os conceitos da dimensão teórica na análise dos dados extraídos na dimensão tecnológica. A escolha da região Ibero-Americana foi motivada pela menor visibilidade em bases de dados internacionais. Os sistemas de avaliação do Brasil, Espanha, México e Colômbia definiram o índice h5 como indicador de impacto para periódicos não indexados no Journal Citation Reports e na Scopus. A validação do framework se deu em um universo de 10.553 periódicos de 23 países IberoAmericanos indexados no diretório Latindex. Por meio da ferramenta bibliométrica Gsm_hdata foram executadas rotinas de busca, de análise de citação e de autocitação e de extração de dados do índice h5, inclusive de edições anteriores do Google Scholar Metrics. Foram localizados 4.049 periódicos indexados na edição de 2021 do Google Scholar Metrics, o que corresponde a 38,4% do total e representa mais do que o dobro de visibilidade em comparação a Scopus, o Journal Citation Reports e o SciELO. Os periódicos do Brasil, Espanha, México, Colômbia, Argentina, Chile e Cuba correspondem a 90% do total. Os periódicos de Ciências Sociais, de Artes e Humanidades e de Ciências da Saúde abrangem 72%. O índice h5 é um indicador válido, considerando os níveis de correlação com outros indicadores, e estável, com crescimento médio anual de 11% nos últimos cinco anos. O índice h5 é pouco influenciado por autocitações, com taxa média de 3,6% por periódico. Mas o excesso de autocitações, mais frequentes em periódicos de menor impacto e de áreas especializadas, podem aumentar significativamente o índice h5. Os resultados sugerem que a principal vantagem do índice h5 do Google Scholar Metrics é a cobertura mais ampla de periódicos regionais. Mas os seus escassos recursos limitam o uso em larga escala. O framework proposto, especialmente a sua dimensão tecnológica, contorna parte das limitações. Possibilita a análise de impacto de periódicos Ibero-Americanos com base no índice h5 de forma mais confiável e menos suscetível a distorções ocasionadas por excesso de autocitações e eventuais práticas de manipulação de citações. O framework poderá ser futuramente aplicado em processos de avaliação de periódicos não indexados em bases de dados, inclusive de outras regiões de baixa visibilidade científica.

Abstract: This study proposes an impact evaluation framework for Ibero-American journals based on the Google Scholar Metrics h5-index. The Gsm@hdata framework is composed of three dimensions, a theoretical, a technological and an analytical dimension. The theoretical dimension applies concepts of citation analysis in the h5- index context, the technological one is represented by a bibliometric tool for searching, extracting and analyzing data from Google Scholar Metrics and the analytical one applies the concepts of the theoretical dimension in the analysis of the extracted data in the technological dimension. The reason for the choice of the IberoAmerican region was the lower visibility in international databases. The evaluation systems of Brazil, Spain, Mexico and Colombia defined the h5-index as an impact indicator for journals not-indexed in the Journal Citation Reports and Scopus. The definitive validation of the framework took place in a universe of 10,553 journals from 23 Ibero-American countries indexed in the Latindex directory. Using the bibliometric tool Gsm_hdata, routines of search, citation analysis and self-citation and data extraction from the h5-index were performed, including from previous editions of the GSM. A total of 4,049 journals were found in the 2021 edition of this source, which corresponds to 38.4% and represents more than double the visibility compared to Scopus, Journal Citation Reports and SciELO. Journals from Brazil, Spain, Mexico, Colombia, Argentina, Chile and Cuba correspond to 90%. Journals in the Social Sciences, Arts and Humanities and Health Sciences comprise 72%. The h5- index is a valid indicator, in view of the levels of correlation with other indicators, and stable, with an average annual growth of 11% in the last five years. The h5-index is less influenced by self-citations, with an average rate of 3.6% per journal. But excess selfcitations, more frequent in journals with lower average impact and in specialized disciplines, can significantly increase the h5-index. The results suggest that the main advantage of the Google Scholar Metrics h5-index is the broader coverage of regional journals. But its scarce resources limit large-scale use. The proposed framework, especially its technological dimension, overcomes part of the limitations. It makes it possible to analyze the impact of Ibero-American journals based on the h5-index in a more reliable way and less susceptible to distortions caused by excessive self-citations and possible citation manipulation practices. The framework may be applied in the future in evaluation processes of journals not indexed in databases, including those from other regions with low scientific visibility.