El Taller de obtención de indicadores bibliométricos, organizado conjuntamente por la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT) y el Centro de Información y Documentación Científica (CINDOC) del Consejo Superior de Investigaciones Científicas (CSIC) de España, se realizó en Madrid del 23 al 25 de febrero de 1998, con el apoyo del Programa Iberoamericano de Ciencia y Tecnología CYTED y la Organización de Estados Americanos (OEA). Participaron 32 expertos de Argentina, Brasil, Cuba, España, México y Portugal, tanto investigadores vinculados a la problemática de la bibliometría y de los indicadores de ciencia y tecnología en general, como representantes de diversas bases de datos de publicaciones científicas de la región.
1. La existencia de bases de datos apropiadas
En lo referido a las bases de datos utilizadas actualmente para obtener indicadores bibliométricos, durante las sesiones los participantes tomaron en cuenta:
· La inexistencia de una base de datos que cubra la mayor parte de la producción científica iberoamericana.
· Los problemas de legitimidad de los indicadores bibliométricos elaborados a partir del Science Citation Index (SCI) editado por el Institute for Scientific Information (ISI) de Estados Unidos, debidos fundamentalmente al sesgo, tanto temático como de idioma, de esta base de datos. A este sesgo se suma el hecho de que menos del 1% de las revistas científicas de los países de Iberoamérica son recogidas por el ISI.
· La inexistencia de suficientes bases de datos nacionales que cubran la producción bibliográfica de los diferentes países.
· La existencia, sin embargo, de bases de datos regionales y multicéntricas, temáticas y multidisciplinarias, que recogen parte de la producción bibliográfica, tales como LILACS – Literatura Latinoamericana y del Caribe en Ciencias de la Salud, AGRIS – Sistema Bibliográfico Internacional de Información sobre Ciencias y Tecnologías Agrícolas, CLASE – Citas Latinoamericanas en Ciencias Sociales y Humanidades y PERIÓDICA – Indice de Revistas Latinoamericanas en Ciencias.
2. Validez bibliométrica
La validez de la utilización bibliométrica de cada base de datos está limitada por:
a) los propósitos bibliográficos con los que ha sido creada;
b) las características metodológicas de los programas para recuperación de información;
c) los criterios de selección de los documentos a ser incluidos, es decir, la definición del universo cubierto;
d) la representatividad de su contenido sobre el conjunto del universo definido previamente, esto es, el éxito de su preparación y actualización.
En este sentido, en muchas de las bases de datos existentes se echan de menos características tales como la presentación de la institución de adscripción de cada uno de los autores, la identificación de cada autor con su institución, la presentación del país de la institución del autor en un campo independiente y la incorporación de un campo relativo a la fuente de financiamiento del trabajo, entre otras.
A partir de esta acotación, todas las informaciones que se puedan extraer de las bases de datos pueden ser útiles para la construcción de indicadores de ciencia y tecnología.
De esta manera, si bien sería erróneo suponer que los datos obtenidos de las bases de datos del ISI representan la producción científica, tampoco se debería desconocer su utilidad para medir la contribución científica a lo que el ISI definió como la "corriente principal de la ciencia" o mainstream science.
Por otra parte, es dudoso suponer que la producción científica pueda ser representada en exclusividad por alguna otra base de datos, ya que los indicadores de publicaciones científicas son solamente indicadores de una parte de la producción científica y tecnológica de los países. En cualquier caso, no se debería postergar la producción de indicadores bibliométricos hasta disponer de tal base de datos.
3. Relación de los indicadores con los procesos sociales
En cuanto a la producción de indicadores, la crisis de legitimidad de los que se utilizan corrientemente aparece relacionada con la insuficiencia de estudios de base acerca del comportamiento de las comunidades científicas locales. En este marco, se encontró que es preciso revisar las bases conceptuales de los indicadores para adecuarlos al contexto de nuestros países.
4. Las publicaciones científicas en América Latina
En lo referido a las publicaciones científicas en América Latina, los participantes resaltaron la necesidad de que se lleven adelante procesos de relevamiento de publicaciones científicas en la región. Estos relevamientos deben ser complementados con estrategias de evaluación de revistas que den insumos para la construcción de bases de datos aptas para uso bibliométrico.
5. Recomendaciones
Los participantes del taller recomiendan:
a) proponer a los organismos nacionales de ciencia y tecnología (ONCYT) y las organizaciones internacionales responsables, el aumento del apoyo a las bases de datos bibliográficas existentes;
b) estimular a los ONCYT en la creación de bases de datos bibliográficas nacionales, en aquellos países en que aún no existieran;
c) apoyar y estimular la construcción de un índice regional de revistas científicas, tal como el previsto por el proyecto Latindex;
d) proponer a los responsables de las bases de datos bibliográficas de la región la incorporación de características que faciliten su utilización con fines bibliométricos;
e) proponer a la RICYT la realización de estudios e investigaciones de base para la validación de los indicadores bibliométricos en relación a las características de las actividades científicas y técnicas de Iberoamérica, y para el diseño de un sistema de indicadores de producción científico-tecnológica;
f) proponer a la RICYT la incorporación en sus publicaciones de indicadores bibliométricos provenientes de diferentes bases de datos, mencionando explícitamente las particularidades de cada fuente y las limitaciones propias de la metodología utilizada.
6. Relatorías parciales
Sesión I: Indicadores bibliométricos a partir de bases de datos internacionales, multidisciplinares y especializadas
Dentro del objetivo general del Taller -obtener indicadores de producción científica adecuados para los países de Iberoamérica- en la primera sesión se trató de la obtención de indicadores bibliométricos a partir de bases de datos bibliográficas internacionales, tanto multidisciplinares como especializadas.
Se presentaron indicadores empleados tradicionalmente en los países más desarrollados, basados en el recuento de la producción científica en diferentes bases de datos, lo que mostró imágenes diversas y complementarias de los países iberoamericanos: la "corriente principal" detectada por el SCI, mayor detalle empleando bases de datos temáticas, y otra faceta con bases de datos de revistas nacionales. Se planteó la necesidad de una base de datos que recogiera toda la producción científica de calidad de Iberoamérica.
Se mostraron también indicadores de colaboración (que están limitados a las pocas bases de datos que proporcionan información de todos los lugares de trabajo); así como los nuevos indicadores acerca de revistas electrónicas que pueden obtenerse a través de Internet.
Al analizar la aplicación de estos indicadores se puso de manifiesto, en primer lugar, que se trata de indicadores parciales, nunca exhaustivos; y en segundo lugar, su peor adecuación a países en fase de desarrollo como es el caso de los países iberoamericanos por diversas razones:
· La escasa cobertura de revistas iberoamericanas en las bases de datos internacionales, cobertura que difiere entre las bases de datos multidisciplinares, como el SCI, de las especializadas o temáticas.
· Los diferentes hábitos de las comunidades científicas según las áreas temáticas y los intereses del organismo investigador para difundir los resultados de su investigación, empleando en un elevado porcentaje vehículos diferentes a las revistas científicas.
· La falta de normalización de las bases de datos y sus diferentes criterios en cuanto a cobertura, que derivan del hecho de que han sido diseñadas con fines bibliográficos, no bibliométricos. Se propone sugerir a las bases de datos:
– que el país figure en campo independiente del nombre de la institución para evitar ruido en las búsquedas;
– que recojan los nombres de todos los autores y todas las instituciones participantes en el trabajo, de forma normalizada; y
– que identifiquen a cada autor con su institución, tal como figura en la revista fuente.
Como una conclusión general, se destacó el hecho de que los indicadores bibliométricos los origina un colectivo de sociólogos o documentalistas, mientras que es otro colectivo diferente, que desconoce sus limitaciones o margen de error, quien los emplea para fines de gestión de política científica. Por tanto, es importante resaltar que se trata de indicadores parciales, cuya validez es mayor en ciencia básica que en aplicada, difiere de unos temas a otros por el empleo de diferentes vehículos de difusión de resultados, y que presentan mucha mayor validez aplicados a grandes colectivos (nivel de países o grandes áreas temáticas) mientras que su validez es muy reducida si se aplican a grupos pequeños o casos individuales.
Se planteó la necesidad de estudiar la base conceptual de los indicadores de la ciencia, analizando cual es la organización y el objetivo de la ciencia en Iberoamérica: aumento del conocimiento, resolución de problemas concretos, formación de personal, etc. Se sugirió el interés de realizar un estudio piloto con los propios científicos para buscar un sistema de indicadores específicos que permita evaluar la ciencia y la tecnología en Iberoamérica, que responda a los objetivos de cada disciplina científica y complemente la información de los indicadores obtenidos a partir de bases de datos bibliográficas. Posibles indicadores parciales además del número de patentes, serían el número de tesis doctorales y el de revistas científicas editadas con cierto control de calidad. Otras fuentes que se podrían emplear: Memorias de Actividad de Universidades y organismos de investigación, proyectos financiados, encuestas, entrevistas u opinión de expertos.
Sesión II: Indicadores bibliométricos a partir de bases de datos multicéntricas, regionales o locales
Fueron presentadas las bases de datos:
· AGRIS (multicéntrica; cubre agricultura en general, pesca, recursos naturales, medio ambiente, etc. ),
· LILACS (regional, temática; cubre medicina y salud para todos los países de América Latina),
· PERIODICA y CLASE (regionales, para América Latina; cubren respectivamente ciencias exactas, naturales, médicas y de ingeniería, y ciencias sociales y humanidades),
· ICYT – Índice Español de Ciencia y Tecnología e ISOC – Índice Español de Ciencias Sociales (nacionales, para España; cubren respectivamente las mismas disciplinas que las anteriores),
· CUBACIENCIAS (nacional, para Cuba; multitemática).
Se aportaron también elementos relativos a otra base multicéntrica más antigua (INIS).
Las presentaciones concluyeron con una comparación, en una disciplina específica (biología vegetal), de las publicaciones registradas en una base de datos nacional (española) y una internacional.
Observaciones generales:
Todas las bases tienen sus sesgos, debidos en buena medida a que cada una de ellas ha sido hecha con ciertos propósitos u objetivos, y dentro de ciertos ámbitos, que determinan sus características.
Las diversas bases que fueron presentadas llevan ya un buen número de años funcionando (hasta 15 o 20 años) y contienen, cada una de ellas, información muy valiosa.
En parte la información que contienen estas bases es del mismo tipo por lo que pueden emplearse por ejemplo para hacer estudios comparativos (por ejemplo, CLASE e ISOC, PERIODICA e ICYT) o para compartir experiencias. En otros aspectos, por referirse estas bases a diferentes ámbitos, proporcionan en su conjunto una información más completa de la producción bibliográfica iberoamericana.
En las presentaciones y durante la discusión se enfatizó la importancia de:
· asegurar una buena coordinación entre los centros cooperantes cuando se trata de una base multicéntrica o regional;
· el desarrollo de una metodología clara y definida en la compilación y el asentamiento de los datos,
· la labor de entrenamiento del personal involucrado,
· la unificación de criterios para la selección del material,
· un soporte informático adecuado.
Como resultado de las experiencias de estas bases de datos, se destacaron, entre otros, los siguientes problemas:
· la falta de actualidad y sistematicidad en la recepción de las revistas y otros documentos, atribuible normalmente a los editores,
· la falta de actualidad en el registro de los documentos en la base, atribuible normalmente a la escasez de personal o infraestructura informática,
· dificultades para obtener otras publicaciones además de las revistas (memorias, tesis, monografías, etc.),
· variación en los criterios de calidad de los materiales a ser incluidos en las bases de datos,
· definición del carácter científico de las revistas y de sus contenidos.
Se hicieron una serie de recomendaciones y propuestas a los productores de bases de datos:
· incluir los nombres de todos los autores,
· incluir todas las instituciones de adscripción de los autores, haciendo la corres-pondencia con los nombres,
· incluir el país de la institución de adscripción como un campo de consulta inde-pendiente.
Se sugirió que estas recomendaciones se hicieran llegar también a los productores de bases de datos "internacionales" (las de fuera de la región).
De entre las recomendaciones dirigidas a los editores de revistas, se destacaron:
· asimismo incluir los nombres e instituciones de adscripción para cada uno de los autores,
· hacer un esfuerzo por lograr una mejor distribución de sus publicaciones; hacerlas llegar a las bibliotecas, así como a los productores de bases de datos, y cumplir con el depósito legal.
Se reconoció también la necesidad de estimular a los editores de revistas y de bases de datos a que mejoren sus productos, y de involucrarlos en las discusiones sobre indicadores.
Reconociendo el valor de tener bases de datos nacionales lo más completas posible, se enfatizó la necesidad de incentivar la creación de tales bases de datos y se hizo un llamado para que en cada país haya instituciones encargadas de la compilación y difusión de información bibliográfica.
Se mencionó la conveniencia de intentar coordinar los esfuerzos nacionales y regionales para cubrir todas las necesidades de información, evitando duplicaciones innecesarias.
Finalmente, se recomendó que siempre que se emplee algún indicador, éste venga acompañado de la información sobre la fuente consultada, y de un alerta respecto a las características y limitaciones de dicho indicador.
Sesión III: Revistas locales como fuente de datos
Se presentaron tres ponencias sobre las revistas locales como fuente de datos. En la primera se expusieron dos iniciativas relativas a las revistas científicas en América Latina y el Caribe. La primera con respecto a los Talleres que sobre las revistas científicas en la región fueron celebrados en 1994 y 1997 en Guadalajara, México. El primer Taller fue una experiencia inédita ya que por primera vez se trató la problemática común a los diferentes países de la región en cuanto a la producción y difusión del conocimiento científico. En el II Taller se abordó específicamente la problemática de la revista científica y algunos de los puntos discutidos en él tienen un vínculo importante con la obtención de indicadores a través de la cadena que inicia con la generación de conocimiento, su difusión en las revistas, su inclusión en bases de datos y su posterior uso como fuente de obtención de indicadores bibliométricos.
De entre los considerandos del primer Taller destacaron: la necesidad de realizar un inventario, lo más completo y actualizado posible, sobre las publicaciones periódicas editadas en los países de América Latina y el Caribe, así como la falta de bases de datos que cubran adecuadamente la producción científica publicada en las revistas latinoamericanas; igualmente, se comentó el uso impropio que se hace de los servicios de información internacionales como herramientas de evaluación, y sobre el menosprecio de la relevancia de las revistas nacionales.
De entre las recomendaciones se destacó la necesidad de avanzar sobre el desarrollo de criterios comunes para la evaluación cualitativa de las publicaciones científicas y también en cuanto a normas y modelos de clasificación y presentación de dichas publicaciones. Asimismo, se hizo notar la diferencia en el modo de comunicar la investigación en las distintas disciplinas, la cual debe ser tomada en cuenta para diseñar instrumentos de medición adecuados a cada una de ellas.
Se comentó también acerca de la comprensión de la conceptualización implícita en la construcción de indicadores así como un manejo profesional y técnico de los mismos. Se destacó asimismo el papel que deben jugar los editores de revistas científicas en la normalización de sus publicaciones para asegurar una mejor obtención y desarrollo de indicadores bibliométricos confiables.
La segunda iniciativa reseñó el avance que durante los dos últimos años ha tenido el sistema LATINDEX – Indice Latinoamericano de Publicaciones Científicas Seriadas. Este sistema de información se plantea como producto de la cooperación de una red regional compuesta tanto por centros regionales como nacionales que funcionan de manera coordinada para reunir y diseminar la información bibliográfica sobre las publicaciones seriadas producidas en América Latina y el Caribe. El proyecto es un sistema flexible que contempla la elaboración de tres productos:
1) Un Directorio de Publicaciones Periódicas Científicas de América Latina y el Caribe, que pretende ser un inventario de las revistas científicas, de cobertura amplia, que en la actualidad está en proceso de compilación y que en una primera fase ofrece ya los datos de 2,460 títulos de revistas de 20 países de la región, consultables vía Internet en la siguiente dirección: http://biblioweb.dgsca.unam.mx/latindex/directorio.
2) Un Catálogo que representará un subconjunto de revistas con la clasificación de cada revista de acuerdo a sus objetivos y contenidos lo que permitirá identificar cuáles son las revistas científicas de la región.
3) Finalmente, se pretende ofrecer un Indice selectivo de las publicaciones periódicas latinoamericanas que permita enlazar los registros de dicho Indice con los textos completos de las revistas que se encuentren en formato electrónico, así como para ser utilizado para la generación de indicadores bibliométricos de la producción editorial y científica de la región, los cuales podrán ser recogidos por la publicación de indicadores editada por la RICYT, toda vez que se valide la metodología utilizada en su producción.
Asimismo, se discutió acerca de la conveniencia de que el proyecto LATINDEX incorpore datos relativos a España y Portugal, a fin de buscar un posible apoyo institucional por parte del Programa Iberoamericano de Ciencia y Tecnología CYTED.
En cuanto a otros aspectos se mencionó la necesidad de acentuar el carácter regional de LATINDEX, aprovechando las diferentes instancias que ya existen en América Latina como son las redes de investigadores en diferentes áreas. Asimismo con respecto a la acreditación de las revistas se considerarán las experiencias obtenidas a través de las iniciativas realizadas en diferente países de la región, respecto a las evaluaciones de las revistas nacionales.
Las otras dos presentaciones se enfocaron a la evaluación de las revistas nacionales españolas en dos áreas del conocimiento con un fuerte componente local. La primera se refirió a los resultados de una evaluación de las revistas españolas especializadas en ciencias de la tierra y la segunda presentó los resultados preliminares de una evaluación de revistas españolas en ciencias sociales. En ambos casos la evaluación fue realizada tanto por documentalistas como por especialistas en el área de estudio. Los dos estudios fueron llevados a cabo como resultado del descontento que la comunidad española de científicos tiene en cuanto a la subvaloración de publicar en revistas nacionales.
En el primer caso se enfatizó el uso que los especialistas dan a las revistas como vehículos de comunicación de sus trabajos, así como la identificación de aquellos títulos que en el área eran considerados como de mayor calidad. Los resultados arrojados muestran que los especialistas españoles suelen publicar más en las revistas nacionales, aunque cuando se consideró la calidad de las revistas, las revistas extranjeras estaban, en general, mejor representadas. Otro aspecto es que las revistas nacionales donde los especialistas publicaban, estaban bien representadas en las bases de datos internacionales especializadas en el tema. Este trabajo pretende continuar aplicando otros criterios a las revistas como son: el financiamiento de los proyectos, la presencia de colaboraciones internacionales y la presencia de artículos de autores extranjeros.
En el estudio sobre las ciencias sociales se consideraron para el análisis 140 revistas publicadas por las universidades españolas. Los resultados fueron presentados con base en características de las revistas tales como: tirada, antigüedad, existencia de consejos editoriales y su grado de endogamia, así como la periodicidad. Destacó la diversidad de respuestas en cuanto a algunos de los criterios, sin embargo existía una buena correlación entre los resultados obtenidos de los criterios utilizados por los documentalistas con aquellos proporcionados por la evaluación de pares. En todo caso, quedó claro que no es posible utilizar un solo indicador sino una conjunción de varios. También se recalcó la importancia de considerar los aspectos relativos al entorno cultural en el cual se realiza la investigación social, lo cual puede incidir en la aceptación que estas revistas suelen tener en bases de datos internacionales.
Listado de participantes:
Mario Albornoz, Coordinador Internacional, RICYT, Argentina
Octavio Alonso Gamboa, UNAM, México
Isidro Aguillo, CINDOC-CSIC, España
Cristina Arakelian, ANPCYT, Argentina
Gustavo Arber, RICYT, Argentina
Celia Baldatti, CEA – Universidad de Buenos Aires, Argentina
Ana María Cetto, UNAM, México
María Teresa Fernández, CINDOC-CSIC, España
Ernesto Fernández Polcuch, RICYT, Argentina
Daniel Ferreira, OCT, Portugal
Regina Figueiredo Castro, BIREME, Brasil
Nicolás Garriga Méndez, IDICT, Cuba
Isabel Gómez Caridad, CINDOC-CSIC, España
María José Martín Sempere, CINDOC-CSIC, España
José Ramón Pérez Álvarez Ossorio, CINDOC-CSIC, España
Luis Plaza, CINDOC-CSIC, España
Adelaida Román Román, CINDOC-CSIC, España
Jane Russell, UNAM, México
Rosa Sancho, CICYT, España
Elías Sanz, Universidad Carlos III, España
Jesús Sebastián, CINDOC-CSIC, España
Tito Suter, CAICYT, Argentina
María del Carmen Urdín Caminos, CINDOC-CSIC, España
Manuela Vázquez, CINDOC-CSIC, España
Lea Velho, UNICAMP, Brasil
Angel Villagrá, CINDOC-CSIC, España
Raúl Zertuche Ríos, AGRIS, México
Notas:
(1) El presente documento fue preparado por Ernesto Fernández Polcuch (relatoría general), Isabel Gómez Caridad (sesión I), Ana María Cetto (sesión II) y Jane M. Russell (sesión III).
Programa y Ponencias:
Sesión I
Indicadores bibliométricos a partir de bases de datos internacionales, multidisciplinares y especializadas
Relator: Isabel Gómez Caridad (CINDOC)
Ventajas e inconvenientes de la utilización de diferentes bases de datos internacionales para la obtención de indicadores de CyT para Iberoamérica.
Rosa Sancho (CICYT, España)
Experiencias en el desarrollo y uso de diferentes bases de datos para el estudio de la ciencia latinoamericana
Jane Russell (Centro Universitario de Investigaciones Bibliotecológicas, UNAM, México)
Validade e legitimidade dos indicadores bibliométricos para Política Científica
Lea Velho (UNICAMP, Brasil)
Reflexiones sobre el uso de datos bibliométricos en Cienciometría
Tito Suter(CAICYT, CONICET, Argentina)
Celia Baldatti (Centro de Estudios Avanzados, Universidad de Buenos Aires, Argentina)
Indicadores de colaboración científica internacional
María Teresa Fernández (CINDOC)
Análisis comparativo de indicadores de impacto de revistas científicas en formatos electrónico e impreso
Isidro Aguillo (CINDOC)
Sesión II
– Indicadores bibliométricos a partir de bases de datos
multicéntricas, regionales o locales
Relator: Ana María Cetto (UNAM, México)
Base de datos multicéntrica AGRIS
Raúl Zertuche (AGRIS, México)
La representatividad de la literatura latinoamericana y del Caribe en la base de datos regional LILACS
Regina Figueiredo Castro (BIREME, Brasil)
Obtención de indicadores bibliométricos a través de las bases de datos PERIODICA y CLASE
Octavio Alonso Gamboa (Bibliotecas, UNAM, México)
Base de datos CUBACIENCIA.
Nicolás Garriga Méndez (Instituto de Información Científica y Tecnológica, Cuba)
Base de datos española de ciencias experimentales ICYT
Carmen Urdín (CINDOC)
Bases de datos españolas en ciencias sociales y humanidades ISOC
Angel Villagrá (CINDOC)
Comparación de la producción científica española en Biología Vegetal en bases de datos españolas e internacionales
Luis Plaza (CINDOC)
Sesión III. Revistas locales como fuentes de bases de datos
Relator: Jane Russell (UNAM, México)
Informe del 2º Taller de Publicaciones Científicas en América Latina, Guadalajara, México noviembre 1997 e Informe de reunión LATINDEX
Ana María Cetto (UNAM, México)
Evaluación de revistas españolas de ciencias experimentales (Geología)
María José Martín (CINDOC)
Evaluación de revistas locales de ciencias sociales
Adelaida Román (CINDOC)