martes, 26 de febrero de 2013

Siete signos de la obsolescencia del sistema de revistas científicas

Parece que el sistema de revistas científicas, tal como lo conocemos hoy, está condenado a la desaparición o, al menos, a ocupar una posición mucho menos relevante que la actual. Aunque yo soy muy apocalíptico y no hay que subestimar durante cuánto tiempo puede perpetuarse un sistema sin funcionar, sí observo los siguientes hechos.


1. Las revistas ya no son estrictamente necesarias para difundir los resultados científicos. Puedo acabar un artículo y tenerlo subido a la red en minutos. Por tanto, el esquema mental "¿Qué hace una revista por mí? Publicar mi trabajo" ya no tiene sentido. Ahora la pregunta es: ¿Qué hace una revista por mí, más allá de lo que yo mismo puedo hacer? La revista ya no es un engranaje imprescindible del sistema, sino que tiene que responder qué valor añadido aporta, y si ese valor añadido compensa su ineficiencia.

(O sea: lo mismo que la industria de la música.)


2. En áreas en las que publicar un artículo en una revista puede ser un esfuerzo literalmente de años, son un sistema muy ineficiente. En Matemáticas, entre la finalización de un trabajo y su publicación suelen mediar años. Entonces, si alguien quiere usar tus resultados a su vez, pueden pasar años hasta que se publique, y así sucesivamente.

Lanzar una línea de investigación es muchas veces un esfuerzo fallido: si el artículo nº1 no entra fácilmente, da igual que tengas borradores del 2 y el 3, y las ideas hasta el 6. Solo tienes dos opciones. Una: esperas a que se acepte el 1 para enviar el 2 y el 3. Antes o después te verás tentado de acelerar el proceso enviándolo a una revista claramente inferior al nivel del artículo, lo que te dificultará colocar el 2 y el 3 en buenas revistas. Dos: lo envías todo a la vez, lo que te crea otros problemas, ya que en Matemáticas el hecho de que basarte en resultados que no han sido "aprobados por alguien" es una continua cuesta arriba (y por buenas razones). Y, si el artículo 2 y el 3 se aceptan antes que el 1, pues ya hemos devaluado el 1. ¿Y ahora qué haces si no te lo cogen en ninguna parte, y el 2 y el 3 quedan colgando durante años? Al final, puede llegar un punto en que, para cuando te aceptan el 1, ya estás tan quemado que no te apetece seguir con ese tema.

(Casos reales: artículo nº1 enviado en 2002 y publicado en 2008, artículo nº1 enviado en 2004 y sigue dando vueltas en 2013, artículo nº1 enviado en 2006 y tiré la toalla de esa línea hacia el 2008. Claro, la razón puede ser que soy un inepto, pero también puede no serlo.)


3. El sistema ha sido conquistado por grandes corporaciones empresariales que son, digámoslo claramente, estructuras parásitas que succionan cientos o miles de millones de euros al año de los presupuestos públicos sin aportar valor añadido.


4. Ya no existe el concepto de "lector" de una revista, si es que existió, que los de menos de 40 podemos dudarlo. El 95%, o más, de los contenidos de las revistas donde yo publico son totalmente irrelevantes para mi propia investigación. Distribuir esos artículos juntos es absurdo cuando la forma más eficaz de encontrar ese contenido es hacer búsquedas en Internet en las que van a aparecer por separado. Lo lógico es que yo siga a personas publiquen donde publiquen, no a revistas.


5. Una de las funciones que realizan las revistas es garantizar, a través de la "revisión por iguales", que la corrección y relevancia de los resultados ha sido juzgada positivamente por alguien distinto del propio autor (algo muy sano). Pero, ¿es correcto suponer que este sistema realmente está funcionando bien? En mi caso, aproximadamente tres cuartos de los artículos que me llegan para evaluar no tratan sobre problemas en los que yo haya trabajado. Mi competencia es de hecho inferior a la del autor, y, aunque cuatro ojos ven mejor que dos, lo que puedo aportar es poco y el tiempo que necesito para hacerlo es mucho, y valorar con algún conocimiento de causa si el artículo es técnicamente correcto y una contribución relevante no es fácil, y muchas veces la revista te reclama el informe antes de que hayas podido hacer eso.


6. El sistema "publicar o perecer" no es escalable y creo que ya ha alcanzado dimensiones demasiado grandes. Yo no digo que en un sistema como el estadounidense, en el que entran miles y miles y miles de nuevos doctores al año, cada uno presenta solicitud de plaza en 70 universidades, y estas reciben decenas de solicitudes por cada plaza ofrecida, no sea inevitable y un mal menor acabar en el "publicar o perecer". Pero el problema en los últimos años es doble, a mi modo de ver.

Primero, que muchos países han abrazado la consigna de "publicar o perecer", España la primera pero también países tan variopintos como Turquía, Pakistán, China, etc. El número de artículos que pelean por aparecer en, más o menos, el mismo número de revistas, ha aumentado radicalmente. Pongamos como ejemplo que una de las revistas de mayor prestigio en Estadística, Annals of Statistics, pasó de publicar unas 1800 páginas en los años anteriores a 2003, a 4300 en 2009. En 2007 se lanzó Annals of Applied Statistics, y actualmente entre las dos publican entre 5000 y 6000 páginas al año. Otro ejemplo: el Journal of Mathematical Analysis and Applications publicó 8557 páginas en 2003, que ya es una burrada, y 10844 en 2012.

¿Qué tenemos que pensar de esto? Pues que no es escalable. Teniendo en cuenta Annals, la JASA y la Royal,
podemos estimar fácilmente que el número de artículos que se publican anualmente en Estadística con la vitola de "máximo nivel" y "de interés general para toda la comunidad" está muy por encima de 500. Está claro que la inmensa mayoría de la comunidad estadística es completamente ignorante de la inmensa mayoría de los "grandes avances" que se publican e incluso de los que se han publicado de 20 años para acá. También está claro que todos los profesores de un departamento de Matemáticas, leyendo todos los días, no serían capaces de seguirle el ritmo a la publicación, a ritmo de 200 páginas semanales, de artículos avalados por el JMAA.

Es insensato que las bibliotecas universitarias compren esos gigantescos volúmenes de artículos en paquete. Trasladado a esta escala, el sistema es simplemente absurdo. ¿Por qué un país tiene que destinar muuuuchos millones y millones de euros a tener almacenada en unos nodos centrales esta información de forma altamente redundante, cuando la mayor parte se puede descargar gratis de Internet? El argumento era que los profesores de un departamento eran los más capacitados para elegir cuáles eran las revistas de calidad a las que merecía la pena estar suscrito; las revistas tenían que estar repetidas porque no te ibas a ir a Murcia a buscar un número cuando lo necesitases. Pero, en gran parte de las revistas con buena reputación, el volumen de publicación es suficientemente grande como para sea imposible tener un juicio fundado de cuál es realmente la calidad de lo que publican: las decisiones se basan en la suposición de que ese material será bueno si aparece en la revista X, aun sabiendo que el 90-99% de ese material pagado jamás será leído por ninguna de las personas que el año que viene decidirán sobre la renovación de esa suscripción. Y, en mi caso, últimamente el porcentaje de material interesante que encuentro fuera de las revistas (en el arXiv, en Google Scholar, en las webs de los autores) es ya muy superior al que encuentro en las revistas (en plataformas como Sciencedirect, Springerlink, Jstor, etc.)

Segundo problema, que todos queremos publicar en las revistas generales de prestigio. La razón es que, cuando yo leo el artículo de Fulanito, no entiendo ni papa; y cuando Fulanito lee el mío, tampoco entiende nada; y nadie en el tribunal de la plaza entiende ninguno de los dos. Pero si yo he publicado en Annals (que no lo he hecho) y él no, se acabó la discusión: el que la tiene más larga soy yo. Da igual que Fulanito publique en "la tercera mejor revista del mundo en este tema" (frase real oída en una prueba de habilitación), porque fuera de Fulanito y las seis personas que trabajan en España en ese tema, nadie sabría decir si la investigación que se está haciendo en ese tema es buena, mala o regular.

Abocándonos a delegar en los editores de las revistas para marcar quién vale y quién no, hemos acabado en que esas pocas revistas avalen megazillones de artículos y aun así no den abasto a rechazar. Y la función de las revistas no es decidir a quién se va a dar plazas. Porque la consecuencia es que el abanico de temas de la revista inevitablemente se cierra en torno a los intereses de los que están dentro. Es decir, los temas "de interés general" casualmente acaban coincidiendo con los temas en los que trabajan los editores de la revista.


7. A esto se suma el desinterés general de la comunidad científica por encontrar métricas fiables para dar una valoración orientativa del trabajo de un investigador. Ya que ese trabajo se va a valorar sin leerlo, por lo menos hagámoslo de una forma responsable, ¿no? Pero la métrica por excelencia es el índice de impacto, que no solo no mide lo que se le hace medir y es muy fácil de manipular, sino que pone en manos de los consejos editoriales de las revistas aún más poder sobre qué temas alcanzarán a desarrollarse.

El índice de impacto usa las citas que recibe una revista en un periodo de dos años desde la publicación. En la inmensa mayoría de las revistas de Matemáticas, más de la mitad de las citas se reciben más de diez años después de la publicación ('cited half-life' superior a 10). La antigüedad media de los diez artículos de Matemáticas más descargados desde la plataforma Jstor es 32 años (dato de un informe de 2003). ¿Qué sentido tiene usar las citas recibidas en solo dos años? Ninguno, pero es lo que hacemos.

Todos preferimos que haya una "lucha por la vida" con unas reglas claras aunque sea que se contrate al que lleve la corbata más bonita. Con esas reglas, luego yo ya me buscaré una corbata con diseño de Mariscal y que gane el mejor. Y, aquí en España, las reglas claras y establecidas desde el extranjero se agradecen. Por ejemplo, yo he oído el caso de un departamento con un baremo de publicaciones para concursos en el que Hacienda Pública Española (donde solo un 13'3% de artículos incluyen algún autor extranjero, según los datos de DICE) se consideraba en el máximo nivel internacional de revistas de Economía.


---
Yo la situación la veo muy mal, y va a ir a peor. Nadie está diseñando el futuro, y está claro que el futuro va a ser diferente, y nos veremos condenados a vivir en él.

6 comentarios:

Ángel M. Felicísimo dijo...

Magnífico, don Pedro.

Luis dijo...

No conozco este campo, pero me suscita mucho interés el punto 3. Podrías concretar un poco? Tanta pasta mueve esto? Yo tengo un currele en la universidad como profesor asociado, que es diferente a ser pofe universitario, y más en mi caso, que soy asociado de verdad, les enseño a los chavales de publicidad técnicas de diseño y marketing on line y punto. No se si sabes que traduje hace nada un tratadete del siglo XV (nada que ver con lo que imparto). Bueno, por cosas de la vida, estoy en el departamento de historia de no se cuantos... Les dije, esto se puede meter en revista (para sacar puntos y tal)... Me dijeron el montón de cosas que hay que hacer y flipé, les dije que ni harto de vino. Me miraron con cara de tontos... Parecía que el único sentido a todo era meter un valor X en una casilla.

Si así pasa en historia, en matemáticas debe ser total. A ver, no es más sencillo que el departamento en el que curras cuelgue sus trabajos en internet y listos? Si interesa medir el impacto que eso pueda tener, siempre se puede ver por las citas que recaba, y sin mucha historia. No sé, digo yo... Creo que el problema es la necesidad del sistema de objetivar sus inversiones en investigación. Se ha apostado por la vía de las publicaciones en revistas con comités seleccionadores y claramente esto es disfuncional. Francamente, me parece más sencillo algo en plan sabiduría de la multitud... Luis Besa.

Pedro Terán dijo...

Ángel: Gracias :)

Luis: Me imagino que preparar un artículo que satisficiese los códigos formales del gremio te llevaría literalmente varios meses de trabajo a tiempo completo.

Esto es un problema, que se identifica un conjunto de convenciones con "las cosas como tienen que ser". Como la mayor parte de los investigadores tienen la vida solucionada, se imponen un conjunto de cargas que una persona con cosas que hacer no puede asumir.

Por ejemplo, si nos gustara mucho Philip K. Dick y estudiáramos su obra, y escribiéramos un texto explicando todos nuestros hallazgos, no tendríamos nada que hacer en el mundo académico, porque no se aceptará que hablemos de Dick sin haber leído y estudiado miles de páginas de estudios anteriores sobre Dick. Pero el argumento "Oigan, es que a mí lo que me interesa es Dick, por qué tengo que hablar de cosas que no tienen que ver como la distinción entre lo fantástico y lo maravilloso en Todorov, o el análisis de los cronotopos desde el concepto de carnaval de Bakhtin, o de la performatividad del rol de `persona normal' en la California de los 50", por alguna razón no funciona.

En este caso, me parece que tu decisión es probablemente la mejor o la única sensata. Los que hemos sido becarios de investigación hemos podido dedicar meses de nuestra vida a aprender los códigos sin morirnos de hambre; pero no me extraña que una persona del mundo real no lo quiera hacer.

(Sigo en otro comentario)

Pedro Terán dijo...

Sobre el punto 3 escribiré algo a medio plazo. Hay grandes grupos que a base de comprar y comprar se han hecho con miles de revistas, y tienen a cientos de miles de científicos trabajando como mano de obra gratuita y voluntaria para obtener beneficios de cientos de millones de euros al año vendiendo ese trabajo gratuito a las bibliotecas universitarias.

---
"no es más sencillo que el departamento en el que curras cuelgue sus trabajos en internet y listos?"

Lo mismo me dice Bliss :)

Desde luego, como poco sería mucho más barato.

Anónimo dijo...

Cientos de millones de euros?
Ayayayay... Creo que entre Bliss y un servidor lo podríamos hacer bastante más barato.

Sobre lo anterior, pues sí, esa es la impresión que me da. Que es como un haro, justificado parcialmente por la necesidad de estandarizar la información, pero que, finalisticamente, solo responde a "blindar" la accesibilidad a un "status".... Soy investigador profesional o algo así porque publico en las condiciones A, B y C... Yo a eso le llamo "escolasticismo tardío". Al final, el riesgo que se corre es convertir el saber en algo meramente retórico. Tiene forma de saber, pero es blablablá escolástico del tipo puede el entendimiento en acto devenir potencia de la sustancia en especie que... Muy dificil innovar en este planteamiento. Saludos. Y no se desanime. Así son las cosas. Luis

Pedro Terán dijo...

La verdad es que me he pasado buena parte del 2012 desanimado, ahora estoy con más fuerzas.

Si me desanimo yo, que soy un privilegiado por el sistema, pues mal iríamos...