viernes, 2 de febrero de 2007

"Peer review" (IV)

Un nuevo ejemplo de que el sistema no siempre funciona como debe.

Caso nº4

Otro caso inconcluso, con la gracia de que sus protagonistas van a coincidir en julio en la misma sesión de un congreso. Menudo peligro.

El ya famoso evaluador P recibe un artículo en el que se afirma que la demostración de un resultado suyo es incorrecta. Entre paréntesis, este es un tema que P se toma en serio porque cuatro artículos suyos posteriores dependen de la validez de ese resultado.

Así que P escribe un informe de seis páginas explicando los errores del artículo en cuestión, dando sugerencias para mejorar los resultados, etc. Algunos de los errores son importantes, entre otras cosas
-el resultado de P no necesita las hipótesis adicionales que los autores dicen,
-las hipótesis del nuevo resultado de los autores no se cumplen en el espacio donde trabajaba P,
-aunque los autores tuvieran razón, eso sólo afecta al apartado (vii) del teorema, mientras que los seis primeros, que son los que enuncian el resultado que los autores pretenden corregir, no se verían afectados.

O sea, una situación un tanto estrambótica (comúnmente conocida como "el perro del hortelano"). Moraleja: eso pasa por no ponerse en contacto con el autor de un trabajo antes de intentar "denunciarle".

Fin de la historia, ¿no?

Meses después, el evaluador P recibe un emilio de otra revista pidiéndole que evalúe un trabajo. Que resulta ser, claro, el mismo de antes. Los autores se han pasado el informe por el forro de los mismísimos, han cambiado cuatro frases de la introducción y lo han mandado a otra revista.

Así que ármate de paciencia. Hala, otro informe. Se lo vuelvo a explicar todo otra vez, a ver si les queda claro (que lo dudo) y recomiendo que revisen el trabajo con posibilidad de volverlo a enviar. Un santo, eso es lo que soy.

Todavía no he vuelto a saber nada de ellos, no sé si enviarán una versión revisada a esa revista o lo habrán mandado como estaba a una tercera. Espero que no sea lo último, porque como se lo acepten van a desear haberse tomado la ciencia más en serio.

PD: Puedo leer en la web de la revista los otros informes, y hay uno que marca la casilla "Technically correct, after careful check" y dice: ...claimed that the main result of P.Terán is true, but the proof given by Terán is incorrect. Consequently, the author present a new proof. The proof, now is correct.

Claro, como ni el resultado que ellos afirman corregir estaba mal ni lo que ellos llaman corrección se aplica a este caso, pues vaya comprobación cuidadosa de los cojones.

(Lo que más me ha convencido de que el sistema de evaluación está peor de lo que se cree, es el poder comparar algunos de mis informes con los de los otros evaluadores; porque, claro, cuando un artículo contiene errores técnicos que saltan a la vista, te imaginas que no eres el único que los ve).


---
Dos cosas:

Un tema mucho más serio y grave.

El visitante 7000 desde que puse el contador es Borjano, que por tanto se ha hecho acreedor a un premio especial que no se imagina, salvo en el caso de que expresamente renuncie a él.

2 comentarios:

sq dijo...

Otro ejemplo más de que el sistema, en efecto, en ocasiones no funciona como debería.

En mi (muy) corta experiencia he visto revisiones de muy dispares en cuanto a su planteamiento. En general me he encontrado (yo mismo o compañeros de mi grupo) con:

1) Las revisiones que son buenas y útiles, que realmente te intentar ayudar a mejorar el artículo. Se ganan, por tanto, aquello de incluir en la sección de agradecimientos: “The authors are thankful for the useful comments of the referees”, por ejemplo, o algo de este estilo. Son la mayoría, aunque tienen distintos grados de brillantez.

2) Las que parecen estar hechas en, digamos, 1 hora (o el tiempo que tarde el revisor en leerse el artículo sin prestarle demasiada atención). Después comentan los dos primeros aspectos del trabajo que les vienen a la cabeza y a correr… Sin mayor razonamiento acerca de la calidad de tu artículo. (Y además, en ocasiones uno de esos dos comentarios parece ir encaminado única y exclusivamente a que incluyas una referencia (¿será del mismo revisor?) en el artículo).

3) Casos extraños en los que parece que el revisor no quiere ayudarte a mejorar el trabajo (y con esto no digo que haya que aceptar siempre los artículos; el rechazo de un manuscrito, si está razonado, debe servir de ayuda para revelarte los puntos débiles del mismo) sino que parece que la revisión está más enfocada a que no se publique el artículo de ninguna de las maneras que a cualquier otro objetivo.

Sobre el 1er tipo nada que decir, excepto gracias.

Acerca del 2º, supongo que puede estar motivado por:

* falta de tiempo. Tal vez se comprometieron a realizar la revisión y luego no quisieron decir al editor que no les había dado tiempo a realizarla y enviaron algo “para justificarse”. Al fin y al cabo, nadie paga por revisar (que yo sepa) así que te va a “compensar” más dedicarte a tu propia investigación que a revisar los estudios de otros.

* Mala selección del revisor por parte del editor correspondiente, que no es capaz de revisar ese trabajo porque no cae dentro de su campo de estudio.

El sistema contempla la revisión de artículos como un “servicio público” de la comunidad científica para la misma comunidad. Está, en mi opinión, poco reconocida para el esfuerzo que puede llegar a necesitar y, en ocasiones, a ello se une, tal vez, la presión de tener que entregar una revisión antes de XX días.

Y sobre el 3er tipo, nada que decir, por desgracia.

En resumen, es muy cierto que el sistema tiene fallos, pero no veo ningún sistema alternativo que, en conjunto, pudiera evitarlo completamente.

Anónimo dijo...

Yo ya no puedo renunciar a tí , ni expresamente ni tacitamente.
Por cierto ya te llamare para darte el número de cuenta