Monthly Archives: junio 2008

A nadie se le escapa que la evaluación de revistas científicas en España –y no sólo en España- pasa hoy por un momento de gran efervescencia. Consultamos las distintas plataformas de evaluación de revistas para saber en qué revista publicar, qué posición ocupa la revista de la que formamos parte como consejo de redacción o comité científico o para encontrar indicadores de calidad que podamos aportar tanto a las evaluaciones del profesorado que realiza la Aneca o las correspondientes agencias regionales, como a la solicitud de tramos de investigación a la Cneai.

Formación de usuarios: investigadores y editores

Sin embargo, aunque la idea de que hay un exceso de información sobre revistas científicas, lo cierto es que no todos los investigadores conocen de cerca estos sistemas y las posibilidades que les ofrecen de cara a un proceso de evaluación. No ayuda a mejorar esta situación el hecho de que sean varias las fuentes de información que existen sobre este tema, como tampoco ayuda en absoluto que cada agencia emplee unos criterios de evaluación diferentes.

Quienes trabajamos en estos temas abogamos claramente porque nuestras plataformas converjan para que toda la comunidad científica pueda disponer de un solo referente que sirva de guía, tanto a investigadores como a evaluadores y bibliotecarios, a la hora de tener que conocer la calidad de una revista científica españolas. Estamos dando algunos pasos en ese sentido.

La desorientación que ha producido en la comunidad académica la diversidad de evaluaciones para nuestras revistas y la necesidad de aprender a manejar sistemas y a entender indicadores ajenos a sus áreas de conocimiento se ha manifestado, en primer lugar, por el número de consultas que recibimos a diario y las conferencias y cursos de formación que impartimos en ese sentido; pero también por los ecos que nos llegan de los bibliotecarios universitarios, especialmente.

En los últimos tiempos ha incorporado una nueva función a sus quehaceres: orientar a los profesores en el uso de las fuentes de información que contienen indicadores de calidad de las publicaciones. Algunos han creado sus propias páginas de recursos con enlaces a todas las plataformas de evaluación.

Esta necesaria interacción entre quienes elaboramos las plataformas y los investigadores de diversas disciplinas está dando lugar a procesos interesantes. De una parte, se está produciendo un pequeño proceso de formación en cuestiones documentales a un colectivo de investigadores ajenos a este campo. De sus comentarios se trasluce, en general, un desconocimiento de lo que realmente significa que una revista esté indizada en una base de datos (y a menudo utilizan la expresión “indexar”); de las diferencias que existen entre una hemeroteca digital, un repositorio o una base de datos; de cómo se calcula el factor de impacto. Aprovechamos nuestras conversaciones con ellos para aclarar estos conceptos, para transmitirles las razones para emplear los indicadores de calidad que aplicamos y para dar a conocer el campo en el que trabajamos, que no siempre es fácil de comunicar. El impacto social que está teniendo la evaluación de revistas nos da esa oportunidad.

Además, algunos investigadores habitualmente comprometidos como editores, miembros del consejo de redacción o del comité científico, con las revistas, se muestran críticos con algunos de los sistemas o indicadores y eso les lleva a discutir y a aportar ideas que, en ocasiones, se incorporan a nuestros sistemas de evaluación de revistas científicas.

Creer o no creer

Esta es la disyuntiva que se produce hoy entre los investigadores, concretamente entre quienes defienden que toda la ciencia es internacional y que todas las revistas (buenas) son susceptibles de entrar en Web of Science (WOS). En este caso, las que no están es porque no son suficientemente buenas. Y quienes defienden que una cosa es estar en WOS y otra ser una buena revista, es decir, hay revistas nacionales buenas que no tienen opción de entrar en WOS, por ejemplo, porque su área de conocimiento está suficientemente cubierta ya por otras revistas.

Los que apoyan esta idea, apoyan también los sistemas de evaluación de revistas nacionales (RESH, DICE, IN RECS, MIAR o Latindex) como una manera de poner en valor las buenas revistas españolas –que además pueden ser internacionales- pero que no están en WOS.

Conviene no olvidar que cuando hace más de una década comenzaron a evaluarse las revistas españolas, la intención no estaba vinculada a la valoración de los investigadores y profesores, sino a la mejora de la calidad de las revistas. Todos estos años de trabajo han traído consigo, entre otras cosas:

a) La mejora de muchas revistas en aspectos tan diversos como la calidad formal, su presencia en bases de datos internacionales, la incorporación y creación de comités editoriales que cumplan de manera profesional su tarea y la implantación de sistemas rigurosos de evaluación por expertos.

b) El reconocimiento de que, a igualdad de calidades, unas revistas están en WOS y otras no.

c) La identificación de revistas que no cumplen gran parte de los requerimientos científicos y que están destinadas a desaparecer de la escena científica, aunque puedan mantenerse como otro tipo de publicaciones.

d) La consideración por parte de las agencias de evaluación de otros indicios de calidad al margen de la presencia de revistas en WOS.

Y el editor ¿a qué sistema debe atender?

El editor, como el investigador, anda perdido entre criterios de evaluación de revistas. No sabe si deben seguir los criterios que aplicamos los grupos de investigación que desarrollamos las plataformas, los que exige Aneca, Cneai o Anep, si es mejor atender sólo a los criterios de selección de Web of Knowledge, si es mejor seguir las pautas establecidas por la European Science Foundation para su European Reference Index for Humanities (ERIH) o si debe concurrir a la convocatoria Fecyt para internacionalizar sus revistas. ¿A qué sistema deben atender entonces?

En primer lugar, hay que decir que bajo todos estos sistemas hay criterios de calidad compartidos como los referidos al cumplimiento de las normas internacionales, a la existencia de revisión por expertos o a la difusión en bases de datos internacionales. Por ese motivo, cualquier revista científica debería cumplir, al menos, la mayor parte de criterios Latindex.

También, y puesto que actualmente es el referente para Aneca, deberían cumplir aquellos contemplados en Dice. A partir de ahí, el resto de criterios aumentan en exigencia: factores de impacto altos que exigen que la revista sea reconocida y valorada por la comunidad científica; valoración alta por parte de los expertos, que se deriva de la consolidación de la revista en el área, de su trayectoria, etc.; periodos de revisión y publicación no muy extensos, relacionados con una gestión profesional de la revista; reconocimiento por parte de los expertos europeos de la relevancia científica de la publicación; y un largo etcétera, al que los editores pueden ir atendiendo en función del estado en que se encuentren las revistas.

Habrá algunas que deban recorrer un largo camino para cumplir los requisitos mínimos y otras a las que bastará mejorar una pequeña parte de sus procesos para situarse las primeras de sus áreas.

En el variado panorama de evaluación de revistas, se situarían como los más exigentes o más inaccesibles tanto el método de selección de revistas de Web of Science, como Erih en el entorno europeo o Fecyt, en el entorno español.

Para concluir: dos opiniones extendidas

La opinión más extendida entre editores e investigadores es que resulta necesario unificar criterios de calidad para la evaluación de las revistas científicas. No debería haber tanta diversidad de indicadores o tanta diferencia en la aplicación de los mismos. Si parece factible que los grupos de investigación nos pongamos de acuerdo en relación con los indicadores que deben intervenir en la evaluación de revistas, es sin duda más complicado que las agencias de evaluación lleguen a estos consensos.

La segunda opinión, al hilo de la evaluación que ha realizado Fecyt para promover la internacionalización de las revistas, es que las acciones de apoyo puedan ser ofrecidas a las revistas que tienen opciones de mejorar y no sólo a las que ya registran los más altos niveles de calidad. Con las revistas menos buenas pero mejorables queda también un trabajo por hacer.

Elea Giménez-Toledo
Miembro del grupo ThinkEPI