1. Introducción

En noviembre de 2004 Google, consciente de la gran penetración de su buscador entre la comunidad científica (Friend, 2006), lanzó Google Scholar (G-S). Su capacidad para ofrecer las citas que reciben las publicaciones pronto captó el interés tanto de los científicos como de la comunidad bibliométrica. Esta última, además, prestó una especial atención tratando de describir sus principales características, bien a favor (Harzing, 2008) o en contra (Jacso, 2008a, 2008b).

Una de sus características más celebradas es su cobertura, radicalmente diferente, a la de otras bases de datos, empleando conjuntamente fuentes de información que de otro modo debían consultarse de forma aislada, a saber: repositorios (ej: E-Lis), portales de revistas (ej: ACM Digital Library), bases de datos (ej: PubMed), Editores comerciales (ej: Springer), Sociedades Científicas (ej: American Physical Society), catálogos online de bibliotecas (ej: Dialnet), Institutos de investigación (ej: NIH), los propios productos de Google (ej: Google Books) y páginas webs institucionales de universidades, profesores y científicos.

Gracias al rastreo de cualquier sistema de información académico G-S localiza citas emitidas por documentos no cubiertos por otras bases de datos como pueden ser el caso de preprints, tesis, informes o libros, particularidad, esta última, especialmente útil para disciplinas como las Humanidades, Ciencias Sociales e Ingenierías. Además, por su vocación universal abarca todas las lenguas científicas.

Sin embargo, pese a las ventajas reseñadas, G-S presenta aún enormes lagunas para su uso sistemático como herramienta de evaluación científica. En esta nota tratamos de reseñar algunos de los problemas más importantes que nos podemos encontrar frente a los índices de citas como Web of Science (WoS) y Scopus.

2. Principales limitaciones de G-S como herramienta de evaluación científica

a) No todos los documentos indizados en G-S se pueden considerar académicos o sus contenidos han sido sometidos a revisión por expertos.

Debido al rastreo automático e indiscriminado de múltiples fuentes de información, muchos de los contenidos presentes en G-S distan mucho de ser académicos (Noruzi, 2005). De hecho, Google no aclara cuál es su concepto de “Scholar” por lo que se incluyen, entre sus resultados y los documentos citantes, guías de bibliotecas, bibliografías de asignaturas o documentos administrativos. Asimismo, aparecen mezcladas citas provenientes de revistas arbitradas con otras que no emplean ningún sistema de evaluación; y no tiene el mismo significado ser citado por un documento científico acreditado que por otro que no lo es.

Los indicadores bibliométricos, al medir el impacto científico, deben construirse sobre fuentes de acreditada solvencia. Hay que recordar por ejemplo que la WoS sólo contempla en su cobertura revistas científicas arbitradas que cumplen los estándares científicos con rigor.

b) Es un producto oscuro y poco transparente ya que no ofrece ninguna información sobre las fuentes que cubre o los acuerdos que alcanzan con editoriales comerciales.

Hemos de tener en cuenta que si las bases de datos son empleadas como herramienta de evaluación, es esencial saber cuál es el universo de revistas empleado y su distribución. Al respecto, la política de G-S es oscura al no ofrecer información de las editoriales con las que ha firmado acuerdos y mucho menos de las revistas que forman parte de su colección. Esta información es absolutamente fundamental si queremos conocer la validez de cualquier tipo de material científico (Bauer y Bakkalbasi, 2005). En el lado opuesto, tanto WoS como Scopus, para informar de su cobertura, ofrecen detallados Master List.

c) Cuando se trata de revistas científicas, G-S sigue presentando una cobertura disciplinar tan desigual como WoS y Scopus de las revistas de Ciencias Sociales y Humanidades.

Uno de los estudios que mejor refleja la cobertura de las revistas científicas por parte de G-S es el conducido por Neuhaus et. al. (2006), que chequea las revistas indizadas en 47 bases de datos de diversos campos. Este trabajo manifiesta que la cobertura de G-S de diferentes disciplinas no es homogénea: cubre el 10% de las revistas de Humanidades, el 39% de Ciencias Sociales, el 41% de Educación, el 52% de Economía y el 76% en Ciencia y Medicina. En este sentido no consigue resolver la proverbial mala cobertura de las Humanidades y las Ciencias Sociales de la WoS, situación, por otro lado, que tampoco resuelve Scopus.

d) G-S no soluciona el problema de la citación y, al igual que WoS y Scopus, presenta enormes lagunas en su cobertura.

Aunque diversos estudios manifiestan la solvencia de G-S para recuperar citas de publicaciones diferentes de las revistas científicas (Kousha y Thelwall, 2008), no consigue recuperar todas las citas que recibe una publicación, por lo que al igual que otras bases de datos sigue ofreciendo un retrato parcial.

Por ejemplo, Kousha y Thelwall (2007), sobre una muestra de 882 trabajos de diferentes áreas, muestra cómo G-S rescata 5.589 citas, mientras que la WoS recuperaba 4.184; G-S recuperaba 3.202 citas únicas, sin embargo no recuperaba 1.797 que eran exclusivas de WoS.

En un estudio similar (Meho y Yang, 2007), también se revelaba cómo G-S perdía el 40% de la citación de revistas científicas del WoS y Scopus. Estos estudios manifiestan G-S no ofrece una solución definitiva.

e) La interfaz de G-S es demasiado básica para las exigencias de consulta que requieren los estudios bibliométricos.

La interfaz de G-S apunta al minimalismo y la presentación de resultados es pobre, quedando restringida a los 1.000 primeros resultados sin posibilidad de ordenarlos. Asimismo, los campos de búsqueda se limitan tan solo a tres: autor, revista y año. La WoS, sin embargo, nos ofrece 12 y Scopus 17. Asimismo, estos dos productos tienen diversas opciones de filtrado de resultados (categorías, autores, etc.), pudiéndose obtener informes bibliométricos de los mismos como en el caso de los Citation Reports de WoS.

Convendría subrayar la ausencia en G-S de una opción específica de búsqueda para las citas como el Cited Reference Search o la posibilidad de búsquedas avanzadas de autores como el Author Search en Scopus o el Author Finder en WoS. Otras opciones como los historiales de búsqueda o la capacidad de exportar los resultados en diferentes formatos tampoco se contemplan en G-S.

f) Ausencia absoluta de normalización en los datos de G-S, como consecuencia de las variadas fuentes de información empleadas y el procesamiento automático de la información.

En líneas generales, podríamos definir G-S como un banco de datos tóxico. Su principal problema radica en que su herramienta de indización intenta detectar los campos que componen los documentos de forma automática, y no siempre funciona. Así, en ocasiones, se toman como autores de un trabajo elementos constitutivos del cuerpo del texto. Por ejemplo, si a través de la búsqueda avanzada introducimos como autor el texto “Introducción” nos devuelve un 7.160 trabajos; “Índice” nos da 4.320 y “Contenido” 6.180.

Otro problema es la absoluta ausencia de índices; así, no existe siquiera control del título de las revistas (ej: aparece tanto BMJ como British Medical Journal). También el campo de año de publicación provoca errores; una búsqueda para el período 2004-2008 nos devuelve 139.000 documentos; sin embargo, una búsqueda entre 2000-2008 reduce los documentos a 109.000.

Otro inconveniente es la presencia de trabajos duplicados. Si buscamos la producción en 2008 de “Lancet“, G-S nos devuelve 3.250 referencias, Scopus 1.653 y WoS 1.688; por tanto, se duplican los registros.

La consecuencia final de estas inconsistencias es un aumento enorme del coste en el tratamiento ya que el tiempo necesario para un estudio puede multiplicarse por 10 con G-S frente a WoS y Scopus (Lokman y Kiduk, 2007).

3. Consideración final

Efectivamente, en este trabajo hemos expuesto los problemas que nos podemos encontrar en G-S como herramienta bibliométrica. Sin embargo, con la exposición de estas limitaciones no queremos restarle valor como herramienta referencial, sobre todo para buscar publicaciones a texto completo y de forma gratuita, para realizar diversas búsquedas documentales (autor, tema o revista) o incluso para que los investigadores averigüen su impacto en la Web científica en Acceso abierto (sobre todo en determinadas disciplinas).

En líneas generales, en esta nota no se recomienda como instrumento para la realización de estudios bibliométricos, sobre todo de media y gran escala, donde la información a emplear exige altos grados de normalización y fiabilidad.

Daniel Torres-Salinas y Emilio Delgado López-Cózar son miembros del Grupo ThinkEPI