Vamos a demostrar con un caso práctico la falta de sentido que puede tener el índice de impacto y sus familiares como medida de la calidad científica.
Para ello, hemos entrado en la página del ISI, hemos puesto un nombre al azar (el primero que se nos ocurrió), hemos dado a la manivela y hemos hecho cuatro cuentas con los datos que nos salieron.
Índice de impacto (nºcitas en los dos años posteriores/ nºartículos con al menos dos años de antigüedad): 0'75.
Eliminando las autocitas: 0'167.
A la vista de estos datos, los gurús de la calidad en la universidad nos dirían que este hombre u hombra es un inútil (cosa que desde aquí no excluimos a priori, desde luego) porque sus artículos tienen muy pocas citas, de hecho no hay ni una cita por artículo. Además, la mayoría de esas citas se las hace a sí mismo, evidenciándose que su investigación tiene un insignificante interés (se deduce de los datos que al menos 5 de cada 6 artículos no reciben ninguna cita de otro investigador en los dos años siguientes a su publicación).
También podemos calcular el
Índice de Hirsch: 2 (al menos 2 artículos con 2 citas pero menos de 3 artículos con 3 citas).
Eliminando las autocitas: 1.
Es decir, que como máximo un artículo suyo ha recibido dos citas de otros.
Bueno, esta es la parte de "Así se las hemos contado".
También podemos extraer una información más detallada del ISI:
Número de artículos: 17.
Artículos sin ningún tipo de cita: 7/17.
Artículos con autocitas pero sin citas ajenas: 6/17.
Artículos citados por otros investigadores: 4/17.
Número total de citas: 16. De las cuales,
Autocitas: 12.
Citas ajenas: 4.
Índice de impacto de este ser (nºcitas en los dos años posteriores/ nºartículos con al menos dos años de antigüedad): 8/12 = 0'75.
Eliminando las autocitas: 2/12 = 0'167.
Ahora bien, a la vista de que el horizonte usado para calcular el índice de impacto es de dos años, también merece la pena señalar lo siguiente.
Tiempo medio entre publicación y autocita: 2 años 4 meses.
Tiempo medio entre publicación y primera cita ajena: 1 año 8 meses.
¿Qué clase de valor puede tener el índice de impacto en áreas en las que la práctica totalidad de las citas a un artículo no entran en el cómputo?
Y eso suponiendo que las citas tengan algo que ver con la calidad de la investigación.
Estamos hablando de una persona con 17 artículos y 4 citas ajenas (siempre según el ISI). Ahora deberíamos poner aquí cuál es el "Así son las cosas" para comparar; pero como parecería que esto es un berrinche por lo poco que me citan, lo vamos a dejar.
El camello del visir
Hace 21 horas
5 comentarios:
Sin quitarte razón en la intención del post, el índice de impacto se aplica a las revistas, no a las personas. Las revistas también tienen un índice de "endogamia", a veces escandaloso que debería contarse.
A las personas se les aplicaría lo que has hecho: el índice h o similar eliminando las autocitas aunque algunas de ellas puedan ser legítimas.
Finalmente, lo que no se ha hecho que yo sepa, es corregir el h o cualquier otro índice personal o colectivo en función del área de publicación. Hay áreas donde una docena de citas es equivalente a una (o ninguna) cita en otros lados.
Y conste que uno de mis trabajos, que considero original y de buena calidad, está tan fuera de la onda que lo hice sabiendo que morirá con cero citas aunque esté en una revista con un F.I. de 1,8 (mucho para mi área adoptiva). Por el momento sigue así, cero pelotero.
Y si echas de menos que te citen cámbiate a lo del cambio global, genoma integral y cosas así, que están más de moda.
Ánimo hombre.
Cito: Como sigas haciendo amigos, te van a citar del juzgado.
Seguro que un dia de estos la ecognocracia va a pegar un peo y te vas a forrar a recibir citas :)
Entre las siguientes opciones:
-Aplicar el índice de impacto de las revistas a las revistas
-Aplicar el índice de impacto de las personas a las personas
-Aplicar el índice de impacto de las revistas a las personas
parece que el mundo real ha escogido la tercera, que es la peor. La diferencia entre la primera y la segunda está en que tiene algún (algún) sentido relacionar el índice con la "visibilidad" de la revista, mientras que la visibilidad del trabajo de una persona no tiene interés.
Lógicamente, mis datos no sirven para decir que el índice de impacto de las revistas, aplicado a las revistas, no tenga un significado. Tampoco lo pretendo; pero, de hecho, me parece que casi nadie usa el índice de impacto para eso. Por eso al hablar del índice de impacto no se me ocurrió aclarar que me refiero sólo al uso del índice para sacar conclusiones sobre investigadores individuales. En este ámbito reducido sí que tiene sentido mi razonamiento de que, si el índice de impacto calculado a partir de tus datos individuales no contiene información sobre tu calidad, mucho menos la contendrá el calculado a partir de los datos de otros que no son tú.
---
El índice h incluyendo las autocitas me pone muy nervioso. Quiero decir que si Witten escribe un artículo a la semana, ¿qué tiene de sorprendente que tenga un índice h de 90, o de 200, o lo que sea?
---
Sobre el índice de "endogamia" volvemos a lo mismo, depende del caso de la revista. Una revista de tema especializado y que esté ampliamente considerada en su comunidad como muy buena en ese tema, forzosamente tiene que ser muy endogámica.
---
Lo de las citas no me lo tomo de forma especial: yo no he empatado con nadie y no soy especialmente simpático, por lo que es muy lógico que mis artículos pasen desapercibidos excepto para un número minúsculo de personas en el mundo que trabajan exactamente en lo mismo.
Aparte, mi información de elaboración propia es "más exhaustiva" que la del ISI. Tengo un artículo con 6 citas que yo conozca, de las que el ISI sólo recoge 1. Las otras cinco son: dos preprints, que ya caerán (en cuanto los manden a una revista donde no sea yo el referee), dos trabajos en actas de congresos publicadas por Springer (que en Informática o Ingeniería puede llegar a ser equiparable a publicar en una revista de cierto nivel) y un artículo que cita al mío como preprint o en prensa, lo que el ISI no recoge.
En cualquier caso, ya llegará. Es un proceso que se realimenta y que tiene un inicio muy lento si no publicas en las mejores revistas (o en las más visibles) y/o trabajas en temas marginales y/o multidisciplinosos y multidisciplinosas.
No sé, tanto problema con el "impacto". Que yo recuerde hay una profesora de filología inglesa que está trabajando en un libro sobre estas cuestiones que vendrá a titularse algo así como "Publish or perish". Por lo demás, creo que el mejor "índice de impacto" es la satisfacción de haber hecho un buen trabajo y ya está. El impacto y las audiencias para la televisión y los candidatos a presidentes.
Por otro lado, habría que estar más interesados por algo así como un "índice de respuesta a las necesidades urgentes de la sociedad".
Estoy casi seguro que nada de esto sería importante si viviéramos en una sociedad donde el salario fuese el mismo para todos, con independencia de su trabajo, porque todos los trabajos son necesarios e igualmente dignos (con los matices lógicos que muchos ya estarán pensando). Y además sólo se aceptasen incentivos cuando todos tuvieran recursos suficientes para vivir dignamente. Más aún, recursos suficientes para incluso decidir si trabajar o no, cuándo y dónde, etc.
Agustín
Publicar un comentario