Departamento de Biblioteconomía y Documentación
Department of Library and Information Science

Observatorio de la calidad en Biblioteconomía y Documentación. Enseñanza e investigación

Director: José López Yepes

Subdirector: Javier Salvador Bruna
Coordinador: Federico Hernández Pacheco

Equipo de apoyo: Elena de la Cuadra Colmenares; Angélica Zapatero Lourinho

Información general
Resumen del proyecto
Antecedentes y estado actual del tema
Objetivos concretos

Información general

TÍTULO: Modelo de observatorio de la calidad de los trabajos publicados por los profesores de la Universidad Complutense de Madrid. El Área de Biblioteconomía y Documentación
PALABRAS CLAVE: Investigación / Evaluación cualitativa/ ProfesoresUCM
INVESTIGADOR RESPONSABLE: Dr. José López Yepes
DEPARTAMENTO: Biblioteconomía y Documentación
CENTRO: Facultad de Ciencias de la Información
TELÉFONO: 91 394 2065
FAX: 91 394 2055
e-mail: yepes#ccinf.ucm.es

Resumen

Aplicación de un método que permita evaluar la calidad de los trabajos de investigación publicados por los profesores de la Universidad Complutense de Madrid teniendo como estudio de caso aquellos del Área de Biblioteconomía y Documentación. El método se basa en la recopilación de las citas recibidas por los trabajos y en el examen del contenido de las mismas a fin de delimitar las ideas científicas que han servido de base a los autores citantes para la obtención de las suyas propias. De este modo se puede conocer la auténtica calidad y repercusiones de los trabajos de investigación.

Antecedentes y estado actual del tema incluyendo la bibliografía más relevante

La cultura de la calidad impregna todas las actividades universitarias y sus consecuencias recaen en la calificación de los centros, los investigadores, las publicaciones, la obtención de tramos de investigación, la acreditación para la estabilidad del profesorado contratado, la influencia en los concursos de habilitación para plazas de funcionarios docentes, la adjudicación de contratos subvencionados, etc., etc.

En el caso del presente proyecto, nos interesa el tema de la evaluación de la calidad de los trabajos publicados por los investigadores del área de conocimientos denominada Periodismo. Ello requiere establecer con el mayor rigor una serie de criterios para evaluar dicha actividad. En la actualidad, y sobre la base de la experiencia de los países más avanzados científicamente considerados, se están aplicando una serie de indicadores bibliométricos que, como su nombre indica, tratan de calibrar parámetros de carácter cuantitativo como son: número de publicaciones, impacto de las publicaciones periódicas donde estos se contienen, número de tesis doctorales dirigidas, número de ponencias o comunicaciones presentadas en congresos, etc. El riesgo en dejarse llevar por lo meramente cuantitativo -lo único aparentemente medible- es evidente y más evidente todavía la tendencia a homogeneizar este tipo de evidencias en todas las disciplinas sin establecer las oportunas distinciones. La situación a que nos referimos ha sido tratada con cierta extensión, y para el área de Biblioteconomía y Documentación, en el trabajo de López Yepes, José y Ros García, Juan. Problemas relativos a la evaluación científica de los profesores del área de Biblioteconomía y Documentación. "Revista General de Información y Documentación", 13, 2, 2003, pp. 37-58.

Pues bien, a partir de los problemas detectados por los profesores e investigadores de la citada área de conocimientos, y que pueden extenderse a los demás, parece conveniente diseñar, mediante un proyecto piloto, una metodología que, basada en el análisis de citas utilizadas por los investigadores objeto de evaluación y, a su vez, recibidas por ellos permita conocer de modo fehaciente la propagación de sus ideas científicas y la influencia real que han operado en otros investigadores que se han servido de ellas para, teniéndolas como base de conocimiento, obtener otras nuevas ideas científicas. Al fin y al cabo, no es otro el procedimiento para el crecimiento de los saberes

El análisis de las citas puede observarse desde dos perspectivas: una perspectiva cuantitativa, es decir, el número de citas recibidas por un autor y una perspectiva cualitativa. Cualitativa, esto es, el valor de las citas por su contenido y trascendencia.

La perspectiva cuantitativa viene utilizándose como método desde muy antiguo aunque no sea requerida de modo formal ni en los procesos de evaluación para la obtención de tramos de investigación ni en los procesos de acreditación de las agencias para el acceso a las categorías de profesor contratado doctor. Ha sido, pues, el motor que ha impulsado publicaciones como el Citation Index que no sólo registra cuantas citas recibe un autor sino que se fija, especialmente, en qué lugares aparecen, esto es, si aparecen los trabajos citados en revistas de reconocido prestigio.

Sin embargo, la aludida perspectiva empleada potencialmente para evaluar a los investigadores de nuestra Universidad Complutense presenta dos inconvenientes: uno, derivado de la propia naturaleza de la cita: hay citas que no pueden ser instrumento de adecuada evaluación objetiva como son las autocitas, las citas de agradecimiento, las citas que contienen meras notas aclaratorias, etc.. El otro, el hecho de que en muchas ramas del saber no se han elaborado todavía índices cuantitativos de citas, por ejemplo, en Periodismo, área de nuestra Universidad cuyas investigaciones no sabemos qué impacto o influencia ha podido tener a nivel nacional o internacional por desconocer el número de veces que aparecen citados nuestros investigadores. Pero, aún desconociendo este dato, laguna que pretendemos cubrir si el presente proyecto es aprobado, no sería suficiente para una evaluación objetiva y rigurosa salvo que el análisis en cuestión se completara con la segunda perspectiva: la cualitativa.

La perspectiva cualitativa que supone, como decimos, haber realizado la primera, apenas está esbozada y nosotros hemos contribuido a divulgarla y a manifestar sus ventajas en dos trabajos recientes: Propuesta de método para evaluar trabajos científicos mediante el análisis cualitativo de citas. "El Profesional de la Información", 12, 6, noviembre-diciembre 2003, pp. 467-471 y El análisis cualitativo de citas como instrumento para el estudio de la creación y transmisión de las ideas científicas . "Documentación de las Ciencias de la Información", 26, 2003, pp. 41-70.

Estamos firmemente convencidos, a tenor de las conclusiones obtenidas en ambos trabajos, que el análisis cualitativo de citas es el método más eficaz para conocer en rigor la auténtica aportación de un investigador a su campo de conocimiento y, en consecuencia, la auténtica medida de su valor y consiguiente prestigio, aparte de poder evaluar otros elementos como la calidad de las revistas donde publica el investigador, el valor de las fuentes que utiliza, etc. Y ello sobre la base de las siguientes razones:

•  Es incuestionable que los autores prestigiosos lo son porque las ideas científicas que han obtenido son utilizadas por otras como fuente de nuevo conocimiento. Si Aristóteles está vigente es porque sus escritos siguen siendo fuente de estudio y reflexión y base para generar nuevos conocimientos.

•  La cita que consideramos de calidad lo es porque es portadora de ideas que otros investigadores toman como fuente para obtener las suyas y por ello son utilizadas.

•  También es importante conocer a los autores en que el investigador evaluado se ha basado para sus trabajos. A ese conjunto de citas lo denominamos base científica subjetiva. Complementariamente, la base científica objetiva es el conjunto de citas en que otros autores recogen las ideas del autor evaluado.

•  El método en cuestión consiste -esquemáticamente- en recoger las citas que ha recibido el autor evaluado, conocer su contenido y las razones de por qué se han formulado y, en último término, recoger también las ideas o juicios aportados por el autor evaluado a través de las citas que aporta.

Las tareas comprendidas en este proyecto de investigación serán coordinadas de modo preferente con los trabajos que lleva a cabo el Departamento de Biblioteconomía y Documentación de la Universidad de Granada y el Centro Universitario de Investigaciones Bibliotecológicas de la Universidad Nacional Autónoma de México en materia de bases de datos y de evaluación de la investigación en materia de Ciencias de la Documentación.

Objetivos concretos del proyecto

•  Establecer un modelo de observación permanente de la calidad de las publicaciones de los profesores de la Universidad Complutense de Madrid tomando como ejemplos los adscritos al área de Biblioteconomía y Documentación.

•  Construir una bases de datos que relacione las mencionadas publicaciones y el número de citas que han recibido las mismas.

•  Analizar la calidad de las citas recibidas a fin de determinar de modo exacto las repercusiones que los trabajos han experimentado en la comunidad científica.

•  Poner a disposición de los profesores de la UCM de modo actualizado el estado de la calidad de sus investigaciones publicadas a fin de disponer de los datos correspondientes en las circunstancias de solicitud de acreditación, de tramos de investigación o de concursos de plazas de personal docente.