Índices de citas, factor de impacto e indicios de calidad...Índices de impacto: artículos / citas...
Transcript of Índices de citas, factor de impacto e indicios de calidad...Índices de impacto: artículos / citas...
Índices de citas, factor de impacto e indicios de calidad en ciencias, ciencias de la salud e ingeniería
Helena Martín Rodero [email protected] http://usalbiomedica.wordpress.com
Servicio de Bibliotecas Salamanca – Junio 2013
Objetivos
Examinar los métodos de evaluación de la calidad de la investigación.
Conocer los sistemas de obtención de información sobre el impacto de las
publicaciones.
Emplear los recursos de información de citaciones y factor de impacto.
Familiarizarse con los indicadores bibliométricos.
Índice
Introducción
Las Agencias de Evaluación: ANECA, CNEAI, ANEP, ACSUCYL
Criterios de evaluación de la Actividad Investigadora
Indicios de calidad de las publicaciones científicas: dónde y cómo localizarlos
Evaluación de la actividad investigadora
¿Por qué evaluar la actividad investigadora? Analizar los recursos existentes.
Ver el impacto social y económico de la investigación.
Incentivar y diferenciar a los investigadores más destacados.
Promocionar al investigador y a la universidad en la que trabaja.
Abrir líneas de investigación y dar visibilidad a la Universidad.
Acr
edit
ació
n l
sexe
nios
Se evalúan personas, instituciones, programas, proyectos …
ANECA CNEAI ACSUCYL ANEP Acreditación Sexenios Evaluación
Acreditación Certificación
Evaluación
Concurrir a pruebas de acceso a los cuerpos del profesorado funcionario docente
Complemento retributivo. Financiación proyectos, investigación y becas
Calidad en el ámbito de las Universidades y de los Centros de Investigación y Educación Superior de Castilla y León
Unidades, equipos humanos y propuestas de investigación para participar en los programas y proyectos del Plan Nacional
Ámbito nacional Ámbito nacional Ámbito autonómico Ámbito nacional
Agencias de Evaluación
Evaluación de la actividad investigadora
Acreditación Nacional
La acreditación, junto al título de doctor,,constituye el requisito imprescindible para
acceder a los concursos de plazas convocados por las universidades.
Evaluación de la actividad investigadora
Acreditación Nacional Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) [http://www.aneca.es] ANECA lleva a cabo su actividad a través de varios programas
- Programas de evaluación de enseñanzas e instituciones
- Acreditación y Evaluación Institucional
- Programas de evaluación del profesorado
Programas de acreditación para promoción y contratación PEP Evalúa el CV de los solicitantes para el acceso a la figura de profesor universitario contratado (Profesor Contratado Doctor, Profesor Ayudante Doctor, Profesor Colaborador y Profesor de Universidad Privada). ACADEMIA Evalúa el CV para acceso a los cuerpos de funcionarios docentes universitarios (Profesores Titulares de Universidad y Catedráticos de Universidad).
Se regula por el RD 1313/2007 de 5 de octubre
Evaluación de la actividad investigadora
Actividad investigadora Publicaciones científicas: revistas, libros. congresos, conferencias, etc. Proyectos y contratos de investigación Transferencia de los resultados: patentes, etc. Movilidad del profesorado Otros méritos Actividad docente o profesional Dedicación docente Dirección de tesis doctorales, proyectos, etc. Evaluación positiva de la actividad docente Publicaciones docentes, proyectos de innovación, etc. Participación en congresos, estancias, etc. Dedicación a actividades profesionales distintas Otros meritos Formación académica Experiencia en gestión y administración
Criterios de evaluación
Criterios de evaluación
Puntuaciones fijadas en el RD 1312/2007, de 5 de octubre, para la acreditación al Cuerpo de Catedráticos de Universidad.
Criterios de evaluación Máxima puntuación alcanzable
Puntuación mínima exigida
1. Actividad investigadora 55 -
2. Actividad docente o profesional 35 20
3. Experiencia en gestión y administración 10 -
TOTAL 100 80 = (Suma 1+2+3)
Criterios de evaluación
Catedráticos de Universidad – Actividad Investigadora
Actividad investigadora (hasta 55 puntos)
Ciencias
Ciencias Ciencias de la Salud Ingeniería y Arquitectura
a) Resultados de la actividad investigadora
44 44 42
b) Proyectos y contratos 8 8 10
c) Transferencia de los resultados 11
d) Movilidad 3
e) Otros méritos 2
Criterios de evaluación
Puntuaciones fijadas en el RD 1312/2007, de 5 de octubre, para la acreditación al Cuerpo de Profesores Titulares de Universidad.
Criterios de evaluación Máxima puntuación alcanzable
Puntuación mínima exigida
1. Actividad investigadora 50
60 2. Actividad docente o profesional 40
3. Formación académica 5
4. Experiencia en gestión y administración 5
TOTAL 100 65 = (Suma 1+3+4)
Criterios de evaluación
Profesores Titulares de Universidad – Actividad Investigadora
Actividad investigadora (hasta 50 puntos)
Ciencias
Ciencias Ciencias de la Salud
Ingeniería y Arquitectura
a) Resultados de la actividad investigadora
38 38 37
b) Proyectos y contratos 6 6 7
c) Transferencia de los resultados 8
d) Movilidad 6
e) Otros méritos 2
Evaluación de la actividad investigadora
Resultados de la actividad investigadora Publicaciones científicas en revistas indexadas con índice de calidad relativo: Publicaciones en revistas de reconocido prestigio e incluidas en los catálogos tipo: Journal Citation Reports o equivalentes en cada especialidad.
Publicaciones científicas no indexadas o sin índice de calidad relativo: artículos publicados en revistas sin índice de calidad relativo, de prestigio en la especialidad. Artículos de divulgación científica; artículos publicados en revistas profesionales; fichas de catálogos y voces de diccionarios y enciclopedias; publicaciones en formato electrónico.
http://www.aneca.es/prgramas/ACADEMIA
Evaluación de la actividad investigadora
Resultados de la actividad investigadora
Libros y capítulos de libros: Libros completos de carácter
científico (como autor o editor); capítulos de libros de
investigación en editoriales de prestigio nacional y, con carácter
preferente, de prestigio internacional en publicaciones con
ISBN; ediciones o traducciones anotadas de libros, prólogos de
libros, reseñas bibliográficas y similares.
http://www.aneca.es/prgramas/ACADEMIA
Evaluación de la actividad investigadora
Resultados de la actividad investigadora
Congresos: Los congresos científicos considerados son los de
carácter internacional (y excepcionalmente los nacionales de
especial relevancia), que incluyan revisión por pares y con una
antigüedad y periodicidad que les convierta en referencia en su
ámbito de conocimiento.
http://www.aneca.es/prgramas/ACADEMIA
Evaluación de la actividad investigadora
Criterios de evaluación El índice de impacto.
El lugar que ocupa la revista en el conjunto
de las que corresponden a un mismo ámbito
de conocimiento: cuartiles, terciles…
El número de autores y, cuando sea
relevante, la posición que ocupa entre ellos
el solicitante.
Asimismo, se valora positivamente la
regularidad en la producción científica y, en
especial, los trabajos publicados en la etapa
posdoctoral de los últimos 10 años.
Evaluación externa por pares.
Existencia de un comité científico
internacional.
Porcentaje de artículos de autores no
vinculados con la institución editorial.
Contenido exclusivo de artículos de
investigación.
Presencia en repositorios y boletines
bibliográficos más vinculados a la
especialidad.
Publicación de artículos en más de una
lengua.
INDEXADAS NO INDEXADAS
Evaluación de la actividad investigadora
Criterios de evaluación – Ingeniería y Arquitectura En el ámbito de la Ingeniería y Arquitectura se consideran de especial relevancia las
publicaciones en revistas de calidad (revistas ICR). En algunos ámbitos también se valoran,
aunque con un peso inferior, los artículos publicados en revistas recogidas en bases de datos
internacionales de Ingeniería como, por ejemplo, TRIS Electronic Bibliographic Data, International
Development Abstracts, International Civil Engineering Abstracts, Environmental Abstracts,
Applied Mechanical Reviews, Applied Science and Technology Index.
http://www.aneca.es/prgramas/ACADEMIA
En estas ramas del conocimiento (Ciencias, Ciencias de la Salud e Ingenierías) las
aportaciones en revistas no cualificadas con índice de calidad relativo no se
consideran.
Evaluación de la actividad investigadora
Evaluación Sexenios
El Real Decreto 1086/1989, de 28 de agosto,
introdujo en el régimen retributivo del
profesorado universitario un nuevo concepto
destinado la incentivar la actividad
investigadora mediante evaluaciones anuales
que quedaban encargadas a una Comisión
Nacional Evaluadora de la Actividad
investigadora.
http://www.mecd.gob.es/ministerio-mecd/en/organizacion/organismos/cneai/criterios-evaluacion.html
Evaluación de la actividad investigadora
Evaluación Sexenios
Criterios de evaluación: RESOLUCIÓN de 19 de noviembre de
2012, de la Presidencia de la Comisión
Nacional Evaluadora de la Actividad
Investigadora, por la que se establecen
los criterios específicos en cada uno de
los campos de evaluación.
Evaluación de la actividad investigadora
Evaluación Sexenios
Publicaciones científicas. Se establecen índices de referencia para cada campo. Con carácter general: «Se valorarán preferentemente las aportaciones que sean
artículos en revistas de reconocida valía, aceptándose
como tales las que ocupen posiciones en los listados por
ámbitos científicos en el “Subject Category Listing”, del
“Journal Citation Reports” del “Science Citation Index”
(Institute for Scientific Information, -ISI- Philadelphia, PA,
USA). Las revistas electrónicas se considerarán cuando
aparezcan en los listados del ISI»
Criterios de evaluación
Evaluación de la actividad investigadora
Evaluación Sexenios
Criterios de evaluación
Libros y capítulos de libros: «… en cuya evaluación se tendrá en cuenta el número
y calidad de las citas cuando ello sea posible u otras
medidas de su nivel de impacto, el prestigio
internacional de la editorial; los editores; la colección en
la que se publica la obra, y las reseñas recibidas en las
revistas científicas especializadas»
Evaluación de la actividad investigadora
Evaluación Sexenios
Criterios de evaluación Se valorará la contribución al progreso del conocimiento, la innovación y creatividad de las aportaciones incluidas en el currículum vítae. Se primarán los trabajos formalmente científicos o innovadores frente a los meramente descriptivos. Como norma general, para obtener una evaluación positiva deberán presentarse 5 aportaciones, entre las que figuren al menos tres artículos en revistas de impacto medio-alto, en el currículum vítae abreviado. Excepcionalmente, el número de aportaciones podrá ser inferior si los trabajos tienen una extraordinaria calidad y han tenido una alta repercusión científica o técnica.
Evaluación de la actividad investigadora
Criterios de evaluación – Ingeniería y Arquitectura Se consideran de especial relevancia las siguientes aportaciones:
Patentes en explotación, demostrada mediante contrato de compraventa o contrato de licencia.
Los artículos en revistas de calidad (revistas ICR). En algunos ámbitos también se valoran,
aunque con un peso inferior, los artículos publicados en revistas recogidas en bases de datos
internacionales de Ingeniería como, por ejemplo, International Development Abstracts,
International Civil Engineering Abstracts, Environmental Abstracts, Applied Mechanic Reviews.
En Ciencias, Ciencias de la Salud e Ingenierías las aportaciones en revistas no cualificadas con
índice de calidad relativo no se consideran.
Evaluación de la actividad investigadora
Criterios de evaluación – Ingeniería y Arquitectura Se consideran de especial relevancia las siguientes aportaciones:
Los trabajos publicados en Actas de Congresos que posean un sistema de revisión externa por
pares, y sean vehículo de difusión comparable a las revistas que ocupan posiciones relevantes en el
JCR.
Los desarrollos tecnológicos en los que se demuestre el reconocimiento por la comunidad científico-
técnica.
Los libros y capítulos de libros en cuya evaluación se tendrá en cuenta su incuestionable carácter
investigador; el número de citas, cuando sea posible; el préstigio internacional de la editorial; los
editores; la colección en la que se publica la obra, y las reseñas en las revistas científicas
especializadas.
Evaluación de la actividad investigadora
Valor colectivo de las publicaciones
Índices de impacto: artículos / citas Posición en el área: cuartil, tercil… Criterios de calidad: presencia en bases de datos, comités, resúmenes, etc. Valor individual de lo publicado Índices de citas: índice h y otros… Indicios de calidad: reseñas, presencia en bases de datos.
Evaluación de la actividad investigadora
Indicios de calidad
1. Índice de Calidad Relativo (Revistas indexadas)
2. Citas recibidas por un trabajo científico
3. Criterios de calidad editorial (Revistas no indexadas)
4. Presencia en Bases de Datos
5. Otros indicios de calidad complementarios
Evaluación de la actividad investigadora
1. Índice de Calidad Relativo “Las revistas indexadas y con índice de calidad relativo son
aquellas que, además de estar recogidas en la
correspondiente base de datos, el gestor de la misma las
presenta priorizadas con algún parámetro, cuyo procedimiento
de cálculo es conocido, de modo que se puede definir una
posición de la revista dentro de las indexadas en una
determinada especialidad”.
Revistas indexadas
IF / JCR
SJR / SCOPUS
Los ICR son ‘rankings ‘o listados de revistas ordenadas, normalmente, por su índice de impacto. El ranking utilizado por las Agencias de Evaluación es el ofrecido por el Journal Citation Reports, de la Web of Knowledge (Thomson Reuters)
Evaluación de la actividad investigadora
Factor de Impacto de las publicaciones. ¿Qué es?
JCR, Journal Citation Reports (Thomson)
Es el número de veces que se cita por término
medio un artículo publicado en una revista
determinada. Es un instrumento para comparar
revistas y evaluar la importancia relativa de
una revista dentro de un mismo campo
científico.
Evaluación de la actividad investigadora
Cálculo - Ejemplo Se trata de calcular el factor de impacto de una revista determinada en el 2008
Citas en 2008 a documentos publicados en 2006 = 15 Citas en 2008 a documentos publicados en 2007 = 29
Total en el numerador = 44
Número de items citables publicados en 2006 = 87 Número de items citables publicados en 2007 = 98
Total en el denominador = 185
Evaluación de la actividad investigadora
Otros indicadores alternativos SJR SCImago Journal & Country Rank IN-RECS: Revistas Españolas de Ciencias Sociales IN-RECJ: Revistas Españolas de Ciencias Jurídicas IN-RECH: Revistas Españolas de Ciencias humanas RESH: Revistas Españolas de Ciencias Sociales y Humanidades
Evaluación de la actividad investigadora
SJR ¿Qué es? Es una medida del impacto, influencia o prestigio de una
revista.
Expresa la media de citas ponderadas recibidas en el año
seleccionado por los artículos publicados en la revista
durante los tres años anteriores.
Este indicador está adquiriendo cada vez más importancia
¿Dónde buscar el Factor de impacto?
CC. Sociales
IN-RECS IN-RECJ RESH
Humanidades
RESH
Medicina
IHCD
Journal Citation Reports SCImago
Science Journal Citation Reports
Social Science Journal Citation
Reports SJR (Revistas
SCOPUS)
Revistas españolas no incluidas en JCR o
SCImago
Evaluación de la actividad investigadora
2. Citas recibidas por los artículos científicos Número de veces que un artículo es
mencionado en otros artículos.
Sirven para establecer indicadores como el
índice H.
Evaluación de la actividad investigadora
Índice H ¿Qué es?
El índice h es un sistema de medición de la calidad profesional de
los científicos, propuesto por Jorge Hirsch (Universidad de
California), basado en la cantidad de citaciones que recibe un
artículo científico.
Para calcular el índice h, basta con ordenar el número de
publicaciones por el número de citas recibidas en orden
descendente, numerarlas e identificar el punto en el que el número
de orden coincide con el número de citas recibidas por una
publicación. Este número constituye el índice h.
Índice h = 6 Hay 6 artículos que han recibido al menos 6 citas cada uno
¿Dónde puedo localizar las citas recibidas por un artículo?
Web of Science (artículos de revistas, también
proceedings)
Essencial Science Indicators
SCOPUS (artículos de revistas)
Google Scholar
Microsoft Academic Search
In-RECS
In-RECJ
CiteSeer
…
¿Dónde puedo localizar el índice H?
Web of Science SCOPUS SCImago Journal and Country Rank (Índice H de
revistas) Scholar Google Citation Publish or Perish
Evaluación de la actividad investigadora
3. Criterios de calidad editorial (Revistas no Indexadas)
En las revistas no indexadas o sin índice de calidad relativo se valorará, de manera general:
Evaluación externa por pares.
Existencia de un comité científico internacional.
Porcentaje de artículos de autores no vinculados con la institución editorial.
Contenido exclusivo de artículos de investigación.
Presencia en repositorios y boletines bibliográficos más vinculados a la especialidad.
Publicación de artículos en más de una lengua.
Evaluación de la actividad investigadora
3. Criterios de calidad editorial (Revistas no indexadas)
Identificación y aplicación de los criterios de calidad editorial de las Agencias de Evaluación ANECA y CNEAI para revistas científica. Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Programa Academia. Acceso a los Cuerpos Docentes Universitarios. Principios y orientaciones para la aplicación de los criterios de evaluación. http://www.aneca.es/Programas/ACADEMIA/Documentos-del-Programa Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI). BOE. Resolución de 18 noviembre de 2009, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación
http://www.boe.es/boe/dias/2009/12/01/pdfs/BOE-A-2009-19218.pdf http://www.boe.es/boe/dias/2012/11/29/pdfs/BOE-A-2012-14633.pdf
¿Dónde buscar los criterios de calidad editorial?
LATINDEX. Sistema Regional de Información para Revistas Científicas
Características editoriales para revistas impresas.
http://www.latindex.org/documentos/revistas_imp.html
Características editoriales para revistas electrónicas.
http://www.latindex.org/documentos/revistas_elec.html
Estos documentos refieren un conjunto de indicadores que deben cumplir las revistas
científicas. En el caso de las agencias de evaluación, estos indicadores se establecen como
requisitos de referencia para que una revista pueda ser considerada en los procesos de
evaluación o acreditación. No obstante, esto no significa que todos los indicadores tengan el
mismo peso para las agencias, por lo que pudiera darse el caso de que revistas que cumplen
muchos criterios, pero no cumplan alguno de los considerados fundamentales por las
agencias, no resulten bien valoradas.
Evaluación de la actividad investigadora
4. Presencia en bases de datos
La revistas científicas antes de ingresar en una base de datos deben someterse a un proceso de evaluación formal y científica. Por ello, una mayor presencia en bases de datos es considerado como un indicio de calidad.
Ulrich’s Directory (Todas las disciplinas)
Latindex (Todas las disciplinas)
Dice (Ciencias sociales y humanidades)
La propia revista
Evaluación de la actividad investigadora
5. Indicios de calidad complementarios Datos que avalen la calidad y difusión de las publicaciones científicas.
Presencia en bibliotecas
Presencia en repositorios
Reseñas en publicaciones especializadas
Traducciones, ventas y otros datos
Índices de citas, factor de impacto e indicios de calidad en ciencias, ciencias de la salud e ingeniería
Helena Martín Rodero [email protected] http://usalbiomedica.wordpress.com
Servicio de Bibliotecas Salamanca - junio 2013