Resumen:
La realización de estudios bibliométricos para caracterizar la investigación sobre un tema exige una selección muy cuidadosa de los registros de base de datos que representan los trabajos. Cuando los estudios se realizan en un contexto nacional o comparan la producción científica de varios países, es imprescindible que las fuentes utilizadas expresen de forma completa la filiación institucional de los autores. El uso de Medline (PubMed) para la selección de trabajos es rutinario, pero provoca grandes inexactitudes porque sólo incluye los datos de filiación del primer firmante. Es necesario su uso en combinación con otras fuentes. Scopus, que comparte ciertos elementos con Medline, como el PMID y los descriptores (lndexterms) ofrece resultados fiables y permite la necesaria combinación de criterios para la selección de documentos y su análisis bibliométrico.
[Leer más…] 
Benito-Amat, Carlos; Yegros-Yegros, Alfredo. «Los datos bibliométricos extraídos de registros de PubMed no son fiables». Anuario ThinkEPI, 2011, v. 5, pp. 223-229.
TRATAMIENTO DE SCOPUS DE LOS REGISTROS IMPORTADOS DE MEDLINE
Por Luis Rodríguez-Yunta
Me parece muy interesante plantear el debate de forma genérica sobre la fiabilidad de las fuentes utilizadas en bibliometría (no tanto discutir sobre un artículo concreto que opino que debería enviarse como carta a la revista que lo publicó).
Quería pediros una aclaración aprovechando que habéis investigado el tema. Conocía que Medline sólo refleja el lugar de trabajo del primer autor, pero tenía dudas sobre qué consecuencias tiene esto para los datos capturados por Scopus. Si Medline es utilizada para enriquecer la exhaustividad de Scopus, ¿Elsevier no se limita a descargar sus registros sino que enriquece los datos añadiendo las afiliaciones de los demás autores? ¿O lo hace sólo a partir de la ficha pregrabada de los autores (identificador de autor) que ya tuvieran otros registros en Scopus (es decir, a veces sí, a veces no, por ser un procedimiento automatizado)?
¿Hay información pública al respecto sobre como trata Scopus los registros importados de Medline?
BUENAS Y MALAS PRÁCTICAS EN EL USO DE BASES DE DATOS PARA ANÁLISIS BIBLIOMETRICOS
Por Álvaro Roldán López
A mí me parece un poco excesivo descalificar Medline como fuente para la realización de análisis bibliométricos con tanta rotundidad. Creo que dependerá del tipo de análisis bibliométrico que se quiera hacer.
Por poner un ejemplo, imaginemos que pertenezco a un Ciber y recabo de todos los grupos de investigación pertenecientes al mismo toda la producción de los últimos cuatro años, ¿podría hacer un análisis de la presencia de dicha producción en Medline? ¿Podría hacer un análisis de la temática de los grupos a través de los términos MeSH con los que han sido indizadas las publicaciones presentes en Medline?
Creo que el problema no es el uso de Medline sino el uso que se haga de esta base de datos. Es como intentar hacer un análisis temático partiendo de WOS. Creo que en general se puede hacer un buen trabajo bibliométrico con cualquier base de datos y se puede hacer un mal trabajo con esas mismas bases de datos. Hay que ser consciente de las limitaciones de cada una de ellas, evitarlas cuando no son las pertinentes para determinado análisis o complementarlas con otras bases de datos para obtener esa información por otra vía o crear una propia porque ninguna de las existentes ofrece la información necesaria para obtener determinados indicadores.
LA FIABILIDAD DE MEDLINE Y SU VALIDEZ PARA ESTUDIOS BIBLIOMÉTRICOS
Por José Antonio Salvador Oliván
Medline no es una fuente apropiada para realizar estudios bibliométricos que requieren el uso de determinadas variables no presentes en la base de datos…pero de ahí a decir que no es una fuente fiable…es mezclar churras con merinas. La fiabilidad tiene otro significado y se mide de diferente manera.
ANÁLISIS BIBLIOMÉTRICOS Y UTILIDAD DE BASES DE DATOS
Por Xavier Agenjo
Pobre Medline (bueno, PubMed) que no sirve para la cibermetría. Lastimita.
Es verdad que a los bibliotecarios de la Nacional de Medicina de los Estados Unidos les está bien empleado por crear la base de tatos de bibliografía especializada más útil y consultada del mundo.
Yo, a la vista de esto, no me extrañaría nada que se descubriera que la Library of Congress o la British Library tampoco valen para nada. Menos mal que en España tenemos dos o tres estupendas -cuyo nombre no recuerdo en este momento- y otras dos o tres de pago a tocateja, que sí.
¿Y los del OA que dicen de todo esto?
¿Cuando se creará el Premio Nobel de bibliometría, que parafraseando a Lenin es la bibliometría con electricidad?.
COMENTARIOS FINALES
Por Carlos B. Amat y Alfredo Yegros
Muchas gracias por haber dedicado vuestro tiempo a contrastar vuestras opiniones con el contenido de nuestra nota y a enmendarla en sus errores. Sirva la siguiente lista de afirmaciones para contestar a vuestras objeciones y comentarios:
Desconocemos la mecánica por la cual muchos de los registros de Scopus, hasta los anteriores a 2004, tienen identificador de PubMed. Parece cierto que ha existido una cesión, por otra parte prevista, en las utilidades de PubMed.
Suponemos que después de eso se ha realizado una conversión retrospectiva, quizá automática a partir de los registros originales de los editores. Por ejemplo, el documento con DOI 10.1097/GIM.0b013e31802d8353, que no corresponde a publicación de Elsevier alguna, aparece con sus afiliaciones intactas en el correspondiente registro de Scopus. No sucede así en todos los casos.
Así, en uno de los más notables (DOI 10.1126/science.1058040) tanto PubMed como Scopus pasan por alto la participación de dos investigadores del grupo de investigación en informática médica del Instituto Municipal de Investigación Médica (IMIM) de Barcelona y la Universidad Pompeu Fabra en los trabajos que condujeron a descifrar el genoma humano.
Valoramos Medline muchísimo y la empleamos continuamente como fuente en nuestros análisis bibliométricos, aunque no como fuente única. En alguna parte de nuestro trabajo original figura la frase «cuando los estudios se realizan en un contexto nacional o comparan la producción científica de varios países, es imprescindible que las fuentes utilizadas expresen de forma completa la filiación institucional de los autores».
Además de esa frase inicial en el resumen, nuestra nota aporta argumentos y algunas estimaciones que revelan las limitaciones de Medline en esos casos.
Por lo demás, hace ya tiempo que muchos grupos españoles que emplean la bibliometría como método de análisis (y a veces evaluación) de la actividad científica se han apuntado a la combinación de bases de datos de forma habitual. Las referencias que aportamos lo confirman y, si se quiere un ejemplo más reciente, dese un vistazo al prometedor original con DOI 10.1258/jhsrp.2010.009125.
Es más que posible que el título de la nota no exprese correctamente su contenido. Mejor sin duda «Los datos bibliométricos extraídos de registros de Medline no son fiables». En todo caso, la parte más importante de la nota es su último párrafo. A pesar de reconocer estas carencias, da que pensar el hecho de que casi no existan análisis basados exclusivamente en Medline en la literatura internacional.
Es cierto que no existe un premio Nobel de bibliometría, tampoco de matemáticas, ni de arquitectura. Wolfgang Glänzel, que ganó en 1999 la medalla Derek John De Solla Price de la International Society for Scientometrics and Informetrics, es quien defiende la necesidad de compatibilidad entre fuentes para segurar la comparabilidad de resultados. Una cuestión meramente técnica, la califica él en el trabajo al que hacemos referencia.
No sabemos si es una lástima que Medline no sirva para la cibermetría, de hecho no sabemos si sirve o no. Tampoco sabemos qué opinan los del OA sobre todo esto. Sí que estamos seguros de que las limitaciones de Medline en relación con la filiación institucional de los investigadores desaparecerán, del mismo modo que han ido desapareciendo las limitaciones en el número de autores que se incluían en cada registro.
Reiteramos nuestro agradecimiento a quienes han comentado la nota, pero no dejamos de reconocer el fracaso en que ha resultado su publicación. El párrafo final quería expresar un llamamiento primero al acuerdo y luego a la plasmación de ese acuerdo en un documento de consenso que, claro, ya no será posible elaborar.
Es posible que un foro distinto a ThinkEPI resultara más indicado, pero el llamamiento que dirigimos para aclarar lo que se ha dado en llamar «citable ítems» a la lista Incyt sobre indicadores de ciencia y tecnología sólo obtuvo una respuesta procedente de Bogotá.