viernes, 19 de enero de 2007

"Peer review" (I)

El sistema de publicaciones científicas basado en la "evaluación entre iguales", según mi experiencia personal, está cerca del colapso. Huelga decir que mi experiencia es muy limitada y por tanto no saco ninguna conclusión.

Pero voy a exponer aquí algunos casos que me han pasado a mí personalmente, porque el número empieza a ser tan grande que me preocupa.


Caso nº1

Este está recién descubierto y aún no he decidido qué voy a hacer al respecto.

El autor A envía en 2005 un breve artículo a una revista. El evaluador P escribe un largo informe en el que muestra que los resultados de A son consecuencia de los obtenidos por P (curiosamente en su primer trabajo científico TC). El trabajo TC está en la lista de referencias de A; pero no hay ninguna cuestión ética porque superficialmente los resultados parecían distintos.

Como no lo eran, al modo de ver de P esos resultados no son publicables porque no hay ningún resultado nuevo. Aparte, P señala algunos defectos de los conceptos usados por A y le dice cuáles son los correctos, amén de darle una lista de trabajos posteriores de P (ya publicados) que son de un nivel mucho más profundo y que convierten esos resultados en claramente no publicables (como se dice pedantemente, "behind the state of the art").

P da por hecho que ese artículo se ha rechazado y que su autor, después de leer los informes, lo ha tirado a la papelera.

¡Ja!

Anteayer, buscando otra cosa en Google, P se encuentra ese mismo artículo, salvo diferencias cosméticas, publicado en diciembre de 2005 en una revista de Transilvania (sin índice de impacto). La mayor diferencia cosmética es que la lista de referencias ya no incluye el artículo de P del que se siguen los resultados, ni por supuesto ninguno de los trabajos posteriores de P que A ya conoce. Ni tampoco A ha modificado sus definiciones para evitar los problemas de los que P le advertía.

Ante esta falta de ética, ¿qué debe hacer P? Aquí dejo la pregunta porque todavía no lo he decidido. Hay que pensarlo con finura porque A no es cualquiera (o sea, el cómo es lo que habría que pensar, el qué no depende de quién sea A).

Y la historia no acaba aquí, porque P entra en la web de la revista para bajarse su informe (que no lo tenía en el portátil en ese momento) y entonces descubre más cosas leyendo los informes de los otros evaluadores y la "historia" del artículo.

Un segundo evaluador E2 también señaló los mismos fallos en las definiciones, aunque finalmente recomendaba aceptar el trabajo. Entonces un editor* distinto, E3, buscó a un tercer evaluador, E3, supongo que para deshacer el empate. El editor E3 es coautor de varios trabajos con A. A las dos semanas de haber recibido el artículo, ya tenía en sus manos el informe del evaluador E3, para quien el artículo es de todo punto excelente (ver para creer).

A la vista de esto, la decisión es dar a A la posibilidad de revisar el artículo y volverlo a enviar. Esa decisión me parece totalmente equivocada porque si un evaluador demuestra que los resultados no son publicables, debería dar igual lo que digan los otros dos, sobre todo si uno pone el artículo por las nubes y es amigo del autor.

Al día siguiente, A retiró el artículo. Presuntamente, en el mismo momento me sacó de las referencias y, sin más revisión, lo envió a una revista sin índice de impacto en la que apareció casi inmediatamente (insisto en que A no es cualquiera).

Aquí quedan emplazados para leer más casos de esta serie, que promete ser larga y muy escandalosa.


* La palabra correcta en español sería "redactor", pero nadie la usa.

4 comentarios:

Ángel M. Felicísimo dijo...

No hay mucho que hacer. "A" acabó donde debía, en una revista de tercera regional. Probablemente, A vetará como revisor a P a partir de ahora, cosa que en las revistas donde he publicado me han preguntado casi siempre (¿hay algún revisor al que NO quiera que se envíe su trabajo?).
Y P que se ande al loro que sus futuros trabajos pueden acabar revisados por A.
Joé, que lío.

Pedro Terán dijo...

No es fácil que A evalúe mis trabajos ya que ya no trabajamos en territorio común (al menos...)

El veto no se estila en las matemáticas, por lo menos no te preguntan aunque supongo que es posible sacar el tema.

Lo de la revista de tercera división, no sé si me consuela mucho. El problema es que, llegado a una cierta altura de la "pirámide alimentaria", da igual si publicas el 80% de tu producción en esas revistas. Hablarán mal de ti en los congresos, pero a ver quién te dice que te vayas de dónde estás.

Ángel M. Felicísimo dijo...

500000 puestos en technorati, uhmmm...
Los arcanos son inexcrutables (que no sé qué quiere decir pero queda bien pa la circunstancia).
Menos mal que somos funcionarios.

Pedro Terán dijo...

Sí, por lo menos alguno de nosotros...