Indices de impacto de las publicaciones

Preguntas frecuentes

 

LA ACTIVIDAD CIENTÍFICA SE MIDE

Existen diversos indicadores métricos para medir y evaluar la calidad de las publicaciones científicas.

La producción científica se mide y evalúa en función de una serie de criterios relacionados con la cantidad de trabajos publicados y con la cantidad de veces en la que han sido citados. Entre los criterios que se miden cabe destacar:

  • el número de trabajos publicados
  • el número total de citas recibidas
  • el número de citas medias por trabajo publicado
  • el número de trabajos publicados significativos
  • el número de citas de los trabajos publicados más citados

 

¿Qué son las publicaciones con impacto?

Publicaciones con impacto son aquellas que son indexadas en determinados portales de información que miden el reconocimiento y la calidad de lo que se publica.

 

Métricas para revistas: Índices de impacto o indicadores de impacto

Los indicadores de impacto miden la repercusión que ha tenido una revista en la literatura científica, analizando las citas que han recibido los artículos que han sido publicados en ella. Es una medida de la importancia que tiene una publicación en un campo temático concreto.

Permite establecer comparaciones y rankings entre revistas y reflejar la relevancia de cada título en el campo temático en el que está incluida.

 

Herramientas para conocer el índice de impacto

Existen varias herramientas que permiten conocer y calcular automáticamente los índices de impacto de las revistas científicas más reconocidas:

  • Journal Citation Reports (JCR): cubre las publicaciones revisadas por expertos más citadas del mundo de aproximadamente 200 disciplinas diferentes. JCR se puede consultar vía web desde la plataforma Web of Science (WOS) permite buscar el factor de impacto de una revista concreta o de un grupo de revistas y establecer comparaciones entre ellas. El factor de impacto es calculado anualmente por el Institute for Scientific Information (ISI).
    • Es una herramienta esencial para conocer el impacto y la influencia de una Revista en la comunidad investigadora global.
    • No mide la calidad de un artículo si no de la revista en la que se publica.
    • No todas las revistas tienen factor de impacto JCR y las que lo tienen no lo tienen permanentemente.
    • El factor de impacto de una revista se actualiza cada año y puede variar de unos años a otros.
    • Una misma revista puede localizarse en distintas áreas temáticas y es muy probable que, en cada una de ellas, tenga un impacto diferente.
    • El índice de impacto para un título de revista en un año determinado es un índice fijo en JCR.
    • Cada grupo temático de revistas se divide en cuatro cuartiles: Q1, Q2, Q3, Q4, que corresponden respectivamente al grupo conformado por el primer 25% de las revistas del listado, el grupo que ocupa del 25 al 50%, el que se posiciona entre el 50 y el 75%, y, finalmente, el que está situado entre el 75 y el 100% del ranking ordenado. La verdadera élite de las revistas de una temática está conformada por aquellas que ocupan el primer cuartil, Q1.
    • Tiene dos ediciones diferenciadas: una para ciencias (Science) y otra para ciencias sociales (Social Sciences).
    • Ofrece cobertura desde 1997 y es una herramienta de pago que es financiada por la FECYT (Fundación española de Ciencia y Tecnología) https://www.recursoscientificos.fecyt.es/
  • SCIMAGO Journal and Country Rank (SJR): Surgió como herramienta libre y alternativa a JCR. Analiza las publicaciones indexadas en la base de datos Scopus, de la editorial Elsevier, desde 1997 hasta la fecha. SJR se puede consultar vía web desde la plataforma Scopus, de pago, o desde SCIMAGO Journal and Country Rank-SJR.
    • No mide la calidad de un artículo sino de la revista en la que se publica.
    • No todas las revistas tienen factor de impacto SJR y las que lo tienen no lo tienen permanentemente.
    •  El factor de impacto de una revista se actualiza cada año y puede variar de unos años a otros.
    • Permite buscar el factor de impacto de una revista concreta o de un grupo de revistas y establecer comparaciones entre ellas.
    • Una misma revista puede localizarse en distintas áreas temáticas y es muy probable que, en cada una de ellas, tenga un factor de impacto diferente.
    • El índice de impacto para un título de revista en un año determinado no es un índice fijo en SJR y puede variar
    • Incluye un mayor número de revistas que JCR por lo que se podría decir que es menos selectivo
    •  Es común para las ciencias y las ciencias sociales por lo que el índice de impacto no se calcula en ediciones separadas
    • Cada grupo temático de revistas se divide en cuatro cuartiles: Q1, Q2, Q3, Q4, que corresponden respectivamente al grupo conformado por el primer 25% de las revistas del listado, el grupo que ocupa del 25 al 50%, el que se posiciona entre el 50 y el 75%, y, finalmente, el que está situado entre el 75 y el 100% del ranking ordenado. La verdadera élite de las revistas de una temática está conformada por aquellas que ocupan el primer cuartil, Q1.

 

¿Cómo se calcula el factor de impacto en Journal Citation Report (JCR)?

Se puede definir el factor de impacto de una revista como la media de veces que en un año han sido citados los artículos que ha publicado en los dos años anteriores.

La fórmula que se utiliza para calcular el factor de impacto es sencilla:

el número total citaciones recibidas en los dos años anteriores

dividido entre

el número total de artículos publicados en esos dos años anteriores

 

¿Cómo se calcula el índice de impacto en SJR?

El índice de impacto en SJR se ha desarrollado tomando como base el algoritmo ideado por Google para ordenar sus resultados de búsqueda (Google PageRank), por lo cual no todas las citas valen lo mismo, sino que el valor depende de la posición que ocupe la revista que cita; esto significa, por ejemplo, que la cita de una revista con SJR alto tiene más valor que la cita de una revista que tenga un menor SJR.

SJR expresa el número de enlaces que una revista recibe a través de la citación ponderada de sus documentos en relación con el número de documentos publicados en el año por cada publicación. La ponderación de las citas se hace en función de las que recibe la publicación citante.

La horquilla de citación es de tres años, un año más amplio que en JCR, y se puede calcular anualmente desde 1999, aunque los datos de las publicaciones de Scopus son recogidos desde 1996. Además, para el cálculo se eliminan las citas a documentos publicados en la propia revista.

 

¿Qué son los cuartiles?

Además del propio Factor de Impacto o Índice de Impacto, los rankings de revistas de cada categoría temática, tanto en JCR como en SJR, se dividen en cuartiles.

Los cuartiles ordenan las revistas de mayor a menor en lo relativo al índice o factor de impacto:

  • Q1, grupo conformado por el primer 25% de las revistas del listado
  • Q2, grupo que ocupa del 25 al 50%
  • Q3, grupo que se posiciona entre el 50 y el 75%
  • Q4, grupo que está situado entre el 75 y el 100% del ranking ordenado.

La élite verdadera de las revistas en una temática está conformada por aquellas que ocupan el primer cuartil, Q1, y sucesivamente su importancia irá decreciendo según van ocupando los siguientes cuartiles.

 

¿Qué diferencias hay entre JCR y SJR?

Una de las diferencias más importantes entre los productos SJR y JCR es el acceso que proporcionan:

  • JCR es una herramienta de pago a través de la plataforma Web of Science . También es de pago la base de datos de citas sobre la que se apoya, Web of Science Core Collection.
  • SJR es una herramienta gratuita. Sin embargo, La base de datos de citas sobre la que se apoya Scopus, es una herramienta de pago.

Otra diferencia importante se refiere a la variabilidad de los indicadores:

  • los valores del factor de impacto en JCR son fijos y definitivos
  • los valores de SJR y demás indicadores de la plataforma son variables

Respecto a los datos de citas recogidos para calcular los indicadores:

  • En JCR la horquilla de citación es de dos años y todas las citas tienen el mismo peso, el mismo valor
  • En SJR la horquilla de citación es de tres años y el peso de las citas es ponderado, es decir, el valor depende de la posición que ocupa la revista que cita

 

Métricas para revistas: otros índices

El escaso número de revistas de habla no inglesa y el hecho de que haya pocas revistas sobre Humanidades y Ciencias Sociales recogidas en Web of Science y, por lo tanto, en JCR, ha hecho que, en varios países como en España, hayan surgido herramientas alternativas para medir el factor de impacto de las revistas.

Presentamos a continuación una serie de herramientas que ofrecen otros índices para medir la calidad de las publicaciones. Es una pequeña recopilación entre las existentes.

  • InRecs: Índices de impacto de las revistas españolas de ciencias sociales y jurídicas. Creado por la Universidad de Granada. La información no se actualiza desde 2014.
  • RESH: Revistas Españolas de Ciencias Sociales y Humanidades: es un sistema que integra indicadores de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades. Ha sido desarrollado en el marco del proyecto Valoración integrada de las revistas españolas de Ciencias Sociales y Humanas mediante la aplicación de indicadores múltiples y financiado por el Plan Nacional de I+D+i.
  • Dice: es fruto de un convenio de colaboración entre el Consejo Superior de Investigaciones Científicas (CSIC)  y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y tiene el objetivo de facilitar el conocimiento y la consulta de algunas de las características editoriales e indicadores indirectos de calidad de las revistas españolas de Humanidades y Ciencias Sociales. La ANECA utiliza esta base de datos como referencia de calidad de las publicaciones españolas, en sus procesos de evaluación de profesorado.
  • Scielo: indicadores bibliométricos para las revistas españolas de ciencias de la salud. Elaborado por instituciones iberoamericanas
  • Latindex: sistema regional de información en línea para revistas científicas de América Latina, Caribe, España y Portugal. Iniciativa liderada por la Universidad Autónoma de Méjico. Ofrece las características editoriales establecidas por el Sistema mediante la aplicación de criterios de calidad editorial.
  • Google Scholar Metrics: ofrece las métricas aplicadas en Google Scholar y publica un ranking de revistas científicas

 

Métricas para revistas: el índice H

El índice H, creado por Jorge E. Hirsch en 2005, se ha popularizado y se aplica tanto a las métricas de las revistas como a otras métricas dirigidas específicamente a los autores o, incluso, para medir la producción científica de los países.

Su cálculo es sencillo y similar con independencia del concepto que se quiera medir: procede de ordenar de mayor a menor los artículos científicos según el número de citas que hayan recibido: el índice H es el número en el que coinciden el número de orden con el número de citas.

 

Métricas para revistas: Google Scholar Metrics

Google Scholar Metrics incluye las revistas en Google Scholar que han publicado al menos 100 artículos que cuentan con alguna cita.

Para evaluar las revistas Google Scholar Metrics se ha apoyado en el índice H y ha creado las métricas denominadas Índice h5 y la Media-h5 que computan las citas recibidas en los últimos cinco años naturales completos anteriores al año de realización de la métrica.

El indicador principal adoptado por Google es el Índice h5, que te explicamos a continuación. Google Scholar Metrics entiende el índice H de una publicación como el número h más alto resultante de que, tras colocar el número de artículos citados en una publicación en orden descendente de más a menos citas, el número de citas recibido y la posición del artículo en el listado total sea igual o menor. Por ejemplo, si una publicación tiene 5 artículos y éstos ordenados por número de cita han recibido 17, 9, 6, 3, y 2 citas respectivamente, se puede concluir que su índice H es 3.

Con datos basados en el índice H, Google Scholar facilita el índice H5 o ih5 de las publicacionescomputándose para ello las citas conseguidas en los últimos cinco años naturales completos y anteriores al año en que se realiza el cómputo, con independencia de la fecha de publicación del artículo. Las métricas se basan en las citas de todos los artículos indexados en Google Scholar hasta una fecha determinada.

Google Académico ofrece un ranking de revistas en función del idioma en que se editan: es el top de las 100 publicaciones principales, las 100 revistas que mayor impacto poseen en cada idioma, que aparecen ordenadas por su índice h5 y su media-h5. Actualmente no permite agrupar y ordenar las revistas según su país de publicación.