lunes, 3 de marzo de 2014

Descripción y crítica de un proceso industrial

He mandado un artículo a la revista Journal of Mathematical Analysis and Applications, coincidiendo que, al ser justamente el 1 de marzo, nos facilita hacer unos cálculos sobre la revista.

No necesariamente estos cálculos interesan a nadie.

Resulta que ha sido el artículo 857 enviado a la revista en 2014. Es decir, la revista recibe en torno a 5000 artículos al año. Cómo tres editores jefes pueden gestionar ese volumen de artículos sería quizás una pregunta espinosa.

Hoy me ha llegado el código que se ha asignado al artículo: el 14-735. Es decir, 122 de esos 857 artículos fueron devueltos inmediatamente a los autores (un 14%) sin llegar a asignarles un código. También se devuelven artículos a los autores sin evaluarlos una vez llegan a un editor asociado. El 14% de 5000 artículos al año (unos 700) son expulsados del proceso sin que el editor jefe se moleste en decidir a qué editor asociado asigna el artículo.

En los dos primeros meses de 2014, la revista publicó sus volúmenes 409 y 410, con dos números cada uno. En total, 2211 páginas. Esa es la producción de teoremas en dos meses en una revista; en un año, unas 13000 páginas. ¿Quién las lee? ¿Alguien? ¿Nadie?

El número de artículos publicados en esos dos meses ha sido 188. Haciendo una comparación entre los recibidos y los publicados en el mismo periodo (aquí es donde viene bien que sea justamente el 1 de marzo), vemos que la tasa de aceptación puede estar en torno al 22% (188/857·100).

Es decir, recibe unos 5000 artículos al año, de los que rechaza unos 3900. Los 3900 artículos rechazados irán a otras revistas, a lo mejor varias veces. De los 1100 artículos aceptados, como la revista solo utiliza un evaluador por artículo (y bastante les debe de costar encontrar 5000 evaluadores al año), solo cabe esperar que una parte no cumpla los objetivos de calidad de la revista. En ese porcentaje podemos incluir los míos, si queremos.

Parece imposible creer que entre esos miles de personas no podamos ponernos e inventar un sistema más eficiente. Porque el fondo de la cuestión es que todos esos miles de personas mandamos nuestros artículos a esa revista exclusivamente para que en una línea de nuestro currículum salga que el artículo apareció en esa revista. Y eso es porque la percepción de la calidad del artículo estará totalmente mediatizada por el nombre de la revista donde haya aparecido.

Hace unos meses, subí el mismo día subí tres artículos a mi página de perfil de Researchgate (una especie de Facebú para científicos con tiempo libre), de tema bastante similar. Por cierto, hoy mismo he superado las 500 descargas en total :D. El número de descargas no se ha repartido por igual, sino que han sido: 96, 37 y 26. En realidad, la página de perfil no indica en qué revista está el artículo, pero lo añadí al título de cada artículo para hacer este mini-experimento.

No ha habido ninguna sorpresa en que el artículo publicado en la revista más prestigiosa ha tenido más descargas que el de la segunda más prestigiosa, y este más que el de la tercera. La revista intermedia es la que nos ocupa, el Journal of Mathematical Analysis and Applications. Lo que sí me ha sorprendido es la abrumadora diferencia, ya que, como digo, son artículos de tema relativamente similar.

Por tanto, lo único que queremos es que alguna entidad que goce de algún tipo de respeto certifique que nuestro artículo vale la pena y "es mejor" que el que quien compite con nosotros por una plaza, o es "más interesante" o "más importante" que el del perfil de al lado. Todo el mundo da por hecho que el artículo de 96 es el "mejor" de los tres porque lo conseguí meter en una revista de alto (que no altísimo) nivel; sin embargo yo, que soy el mayor experto mundial en esos tres artículos, puedo garantizar que técnicamente el mejor es el de solo 26 descargas. Es triste pero cierto y, de alguna forma, inevitable.

Este papel "certificador" lo hacen las revistas porque parte del proceso editorial implica juzgar los artículos. No obstante, a fecha de hoy el científico no necesita a la revista para difundir su trabajo, porque en dos minutos lo puede subir a su página web. Solo la necesita para darle mayor visibilidad y para cumplir esa función de dar una indicación orientativa de su calidad.

Estas dos funciones están cada vez más desgajadas de lo que es la simple publicación del artículo. Primero, las revistas solicitadas cada vez publican más y más artículos. Hemos visto que JMAA publica unos 50 artículos cada quince días. Encontrar trabajos de tu interés en los índices de cada número es como buscar una aguja en un pajar. Hoy p.ej. escribiendo esta entrada me he cruzado con un artículo que me interesa. De no ser así, vete a saber lo que habría tardado, porque son simplemente demasiados artículos en la misma revista para que yo los monitorice continuamente. Además, los buscadores de las plataformas online de las mayores editoriales (Elsevier y Springer) son simplemente muy malos.

Así que esa idea de que publicar mi trabajo en una revista lo hace más visible de lo que yo puedo hacerlo por mi cuenta puede ser incorrecta. El artículo de las 96 descargas fue aceptado en diciembre de 2012; todavía no he recibido las pruebas, pero aún tengo la esperanza de que se llegue a publicar en 2014. En cambio, por mi cuenta ya se lo he facilitado a 96 personas en Researchgate y a 12 en mi blog de investigación. Para cuando aparezca publicado, no sé si quedará alguien en el mundo a quien le interese y no lo tenga ya.

Por otra parte, ¿cómo de eficiente es el "modelo basado en revistas" a la hora de certificar la calidad? Efectivo no lo es mucho, pero centrémosnos en la eficiencia. Yo mando mi artículo a una revista. Esa revista rechaza, en este caso, el 78% de los artículos que recibe. Puedo esperar hasta seis meses o un año por su decisión, y aun así salir acompañando a ese 78% sin ninguna "certificación" en la mano. En ese caso tengo que empezar el proceso otra vez en otra revista. Y así sucesivamente: puedo estar años, como de hecho todos hemos estado alguna vez con algún artículo.

Antes el científico tenía que aceptar esto porque necesitaba que las revistas publicaran su trabajo. Pero, a fecha de hoy, la función primaria de las revistas es exclusivamente la certificadora. Y, como agentes certificadores, las revistas son muy ineficientes: el proceso puede tardar años, involucrar múltiples evaluaciones del artículo, y ser bastante inexacto.

Y me parece que va siendo hora de que inventemos algo mejor, o como mínimo de que abramos el debate de si estamos conformes con el sistema bajo el que estamos operando.

4 comentarios:

odo dijo...

Y no has dicho nada del sistema por el que se decide que una revista es más prestigiosa que otra, que telita con ello.

Pedro Terán dijo...

Buf, ahí si que se podían escribir volúmenes...

Sr. R dijo...

Propongo que en el encabezamiento del articulo se incluya una foto genital de los autores. A fin de cuentas, se trata de medir quien la tiene mas larga. Para el contenido del articulo, recomiendo esta web: http://www.lipsum.com/

Joaquin Sevilla dijo...

Que descripción más acertada y bien documentada de la situación. A ver si se empieza a discutir seriamente el recambio, porque esto así no puede durar mucho