Post on 27-May-2015
description
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Criterios de evaluación de la actividad investigadora
Humanidades y Ciencias Sociales en España
Universidad Pública de NavarraPamplona, 20 de mayo de 2008
Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación
Universidad de GranadaUniversidad de Granada
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Axioma previoHetereogeneidad de la ciencia
los campos científicos
• La naturaleza del conocimiento científico es muy diferente según– Áreas: CyT, CCSS, Humanidades
• Disciplinas: Física, Química, Economía, Derecho, Psicología– Especialidades: Psicobiología, Psicología de la educación… Filosofía del derecho, Civil, Penal, Financiero… Fundamentos análisis económico, Contabilidad..
• Fundamentos de la investigación: qué es una investigación
• Prácticas de investigación: cómo se hace • Hábitos de comunicación: publicación e información• Procesos de evaluación: cómo se evalúa
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
La evaluación de la investigación
• Necesidad evaluación rendimiento actividad investigadora – Impacto económico y social de la ciencia– Recursos escasos– En ciencia no todos somos iguales
• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la promoción profesional– Condiciona la posibilidad de investigar– Otorga reconocimiento personal y social
• España en estado de excepción evaluativa– Personas, instituciones (Facultades, Departamentos…),
titulaciones (grado, posgrado, doctorado), programas, proyectos, – Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU,
ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Hetereogeneidad de la ciencia los campos científicos
CyT Sociales Humanidades
Objeto de investigaciónRealidad natural
(Objetiva / universal)
Realidad humana
(Subjetiva / contextual)
Lenguaje Matemático Lenguaje natural
Métodos de investigación ExprimentalesDescriptivos / Cualitativos
Técnicas análisis datos Cuantitativas Cualitativas
Organización Grupo Individuo
Medio publicación Revistas Libros
Lenguaje publicación Inglés Lengua vernácula
Evaluación trabajos ex ante Peer Review ¿Peer review?
Evaluación trabajos ex post Impacto Juicios de valor
CONSENSO COGNITIVO
J
U
R
Í
D
I
C
A
S
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Los hábitos de comunicación científica
Los medios de publicación
5%10%
85%
10%
50%40%
10%
30%
60%
Experimentales
Revistas Libros Otros
Sociales Humanidades
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Biomedicina
Ingenierías
Psicología
Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
Derecho
Psicología
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
59,2
42,3
33,7
30,6
27,7
27,1
26,6
24,1
22,8
22,7
21,8
21,3
49,9
0 10 20 30 40 50 60 70
Psicología
Economía
Documentacion
Derecho
Educación
Historia
Geografía
Sociología
Filosofía
Arte
Filologías
Ciencia Política
Antropología
Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-
2001)Román & Alcaín 2005
*
* 27 revistas Economia 1999-2001 (Velazquez 2003)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Hábitos de publicaciónPorcentaje de profesores que publican en
revistas españolas y extranjeras (2001-2002)
0
10
20
30
40
50
60
70
80
90
100Psi
quia
tría
Psi
colo
gía
Antr
oplo
gía
Arq
ueolo
gía
yPre
his
tori
a
Filo
logía
clási
ca
Filo
logía
esp
añola
Urb
anis
mo
Cie
nci
aPolíti
ca
Soci
olo
gía
Educa
ción
Revistas españolas Revistas extranjeras
Alcaín 2002, 2003; Román 2003
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Valoración relevancia de las revistas españolas y extranjeras
Porcentaje de profesores (2001-2002)
0
10
20
30
40
50
60
70
80
90
100Psi
quia
tría
Psi
colo
gía
Antr
opolo
gía
Arq
ueolo
gía
y Pre
his
tori
a
Urb
anis
mo
Filo
logía
esp
añola
Filo
logía
clási
ca
Did
áct
ica d
ela
lengua y
lite
ratu
ra
Did
áct
ica d
ela
expre
sión
musi
cal
Revistas españolas Revistas extranjeras
Alcaín 2002, 2003; Román 2003
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
89%
11%
59%
41%
Revistas que consideran más relevantes los
profesores de Derecho (2003)
Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para
publicar sus tres últimos trabajos (2003)
Revistas españolas Revistas extranjeras
Alcaín 2004
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
SocialesSociales% citas rev. % citas rev.
esp./total esp./total citascitas
% citas % citas rev. Ext. rev. Ext.
/total citas/total citasHumanidadesHumanidades
% citas % citas rev. rev.
Esp./total Esp./total citascitas
% citas rev. % citas rev. Ext. /total Ext. /total
citascitas
Derecho 21,5 12,2 Historia 15,9 11,8
Educación 12,1 18,5 Arte 15,2 7,6
Geografía 11,5 15,7 Filología 7,7 15,0
Sociología 9,0 17,6 Antropología
8,1 13,2
C. Política 7,9 13,9 Filosofía 2,8 21,3
Psicología 6,9 52,3
PromedioPromedio 1313 28,228,2 PromedioPromedio 13,513,5 14,314,3
Porcentaje citas a revistas españolas y extranjerasRevistas españolas de Humanidades y Ciencias Sociales (1999-
2001)
Román & Alcaín 2005
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ANECACriterios evaluación actividad investigadora
profesorado
30 26
12 16
5 52 2
45 52 2
4
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Jurídicas HumanidadesPublicaciones científicas Libros y ClCongresos Transferencia tecnologiaDirección tesis ProyectosOtros méritos
35 35
5 55 54 4
7 7
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Juridicas Humanidades
Articulos y libros Congresos y otrosDirección tesis, DEAS… Proyectos y contratosTransferencia
Profesor Contratado Doctor Profesor Universidad Privada
Acreditación
Profesor Titular de Universidad
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Humanidades
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Humanidades
• Resultados de la investigación (65%)– Publicaciones
• Libros y capítulos de libros: Monografías, Ediciones críticas, Ediciones de documentos y corpus documentales, Traducciones, Capítulos de libros
• Trabajos publicados en revistas científicas• Trabajos publicados en actas
– Contribuciones a congresos– Bibliografías, catálogos y bases de datos
• Actividades relacionadas con la investigación (10%)– Proyectos de I+D+I– Redes temáticas, acciones integradas y proyectos internacionales– Estancias en instituciones académicas de prestigio– Dirección y secretaría de revistas científicas– Edición / coordinación de volúmenes colectivos
• Otros (25%)– Interacción con el entorno y transferencia de conocimiento: contratos, gestión…– Difusión y divulgación de la investigación y actividades de fomento de la cultura
científica: libros divulgación, conferencias…– Actividad formativa: dirección tesis, coordinación programas doctorado…– Otros méritos: premios, comités directivos asociaciones científicas…
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Ciencias Sociales y Jurídicas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la
investigación en Ciencias Sociales y Jurídicas
La valoración de historiales investigadores debe limitarse a considerar resultados de productividad investigadora, y considerar de forma crucial
la producción reciente (últimos 10 años)
• Publicaciones científicas: – Publicaciones periódicas: Revistas ISI, o criterios de calidad de publicaciones
similares a los del ISI.– Publicaciones no periódicas: calidad de la editorial, procesos de evaluación y
selección de manuscritos, e impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos.
• Señales externas de reconocimiento a la labor investigadora:– Trabajo editorial en revistas ISI o similares, revisor en revistas ISI o similares,
conferencias invitadas en reuniones científicas regulares, seminarios invitados, pertenencia a comités científicos en I+D, participación en comités de evaluación y actividades de gestión de la investigación.
• Actividades de formación de investigación– Dirección de tesis doctorales en programas de calidad (o equivalente), con
especial atención a la calidad de la producción científica derivada de las tesis.
• Participación en proyectos de investigación competitivos, con especial atención a los resultados publicados
• Actividades de desarrollo (transferencia)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación
Indicadores Sociales Juríd. Humanidades
Puntuación Posición Puntuación Posición
Libro en editorial de reconocido prestigio 7,40 1 8,48 1
Artículos de revista en Journal Citation Reports (JCR) del ISI 7,39 2 7,14 4
Dirección de proyectos de investigación con financiación externa
6,87 3 7,38 2
Artículos de revista en listados nacionales similares al JCR 6,42 5 6,92 6
Estancias docentes y de investigación en el extranjero 6,41 6 6,86 7
Dirección de tesis doctorales defendidas 6,28 7 6,42 10
Capítulo de libro en editorial de reconocido prestigio 6,13 8 6,97 5
Participación proyectos de investigación con financiación externa
6,11 9 6,56 9
Contribución a congreso internacional 5,85 10 6,86 8
Director de revista en ISI 5,72 11 5,84 14
Dirección académica de trabajos (tesinas, DEA…) 5,40 12 6,12 11
Contribución a congreso nacional 4,78 14 5,40 16
Miembro de consejo editorial en revista ISI 4,70 15 4,70 25
Libro en editorial sin reconocido prestigio 4,49 18 6,01 12
Otros artículos de revista 4,31 19 5,51 15 Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos
(Buela y Sierra 2007)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Indicios de calidad de los librosCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
ANEP
Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se
publica la obra CCSS
Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que
trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1
Traducciones de la propia obra a otras lenguas PCD
Inclusión en bibliografías independientes del autor y su entorno
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)
JURID.
Obras de referencia imprescindibles en los estudios grado y postgrado
HUM
Poseer ISBN (imprescindible)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Derecho y Jurisprudencia (CNEAI)– Se valorarán los estudios y trabajos que constituyan aportaciones
originales de carácter doctrinal teórico o conceptual :• Que desarrollen nuevas perspectivas del ordenamiento jurídico.• Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las
normas.• Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con
el sistema jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional.
• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho.
• Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición
– No se considerarán:• Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y
los artículos de divulgación profesional, artículos en revistas de información general. • Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o
estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático.
• Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas.
• Los comentarios de sentencias que sean una mera glosa de las mismas.• Los dictámenes y proyectos
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Filosofía, Filología y Lingüística (CNEAI)
– Se valorarán: • Monografías que sean fruto de la investigación o de la reflexión
documentada • Se considerarán como investigación las ediciones críticas, es decir las
que presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales.
– No se considerarán:• Libros de texto• Artículos de opinión• Obras de divulgación• Antologías o diccionarios comunes• Ediciones de textos o traducciones salvo que estén precedidas de
estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático
• Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Historia y ArteCNEAI
– Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada
– No se considerarán• Libros de texto, apuntes, obras y diccionarios de divulgación
o artículos de opinión• Ediciones de textos o traducciones salvo que estén
precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valiosa a su campo temático
• Las catalogaciones que no conlleven estudios históricos o artísticos
• Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento
• Los prólogos e introducciones formularios, que no superen la condición de simples avances de la obra prologada y carezcan de interés crítico per se
• Las actas de congresos.
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Indicios calidad revistas científicas CNEAI, ANECA, ANEP
Criterios CNEAI ANECA ANEP
Se valorarán preferentemente los artículos incluidos en revistas recogidas en los “Journal Citation Reports del Social Science Citation Index” y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA)
Sociología, Política, Educación, Economía, Psicología
Inclusión de las revistas en bases de datos internacionalesSociología, Política, Educación, Economía, Geografía, Psicología:
BD a determinar por el comité asesor, Econlit, Catálogo Latindex
Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc).
Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography
Satisfacer criterios de calidad editorialSociología, Política, Educación, Economía, Geografía, Psicología,
Derecho, Historia, Filosofía, Filología, Lingüística
Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF
Filosofía, Filología Lingüística
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Criterios calidad revistas científicas CNEAI, ANECA, ANEP I
Criterios CNEAI ANECA ANEP
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el
título de los artículos, las palabras clave y los resúmenes
Informa sobre el proceso que emplea para la evaluación y selección de manuscritos
Declara la periodicidad y la cumple Utiliza el arbitraje científico en la evaluación de
originales y lo cumple
Declara emplear doble anonimato en la revisión externa y lo cumple
Comunica a los autores la decisión editorial de forma motivada
Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Criterios calidad revistas científicas CNEAI, ANECA, ANEP II
Criterios CNEAI ANECA ANEP
Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales
Al menos el 80% de los autores son ajenos a los Comités Editoriales
Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI
Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE
Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• Miden la calidad informativa, del proceso y la organización editorial, y la difusión y visibilidad
• Problemas de fiabilidad
– No existe información compilada y estandarizada
– Puede ser recogida sin control en la observación
• Problemas de validez– Se basa en declaraciones y no en hechos
comprobados
• Sus resultados no necesariamente correlacionan con los producidos por recuentos de citas o encuestas de opinión
Análisis calidad editorial
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• Miden la calidad percibida• Problemas de fiabilidad
– Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados (escenario, deseabilidad social, aprehensión evaluativa, actuación investigador…)
• Problemas de validez– Tasas de respuesta normalmente bajas– Sesgos en las muestras: no representativas– Tratamiento de la no respuesta
• Sus resultados suelen correlacionar con los producidos por recuentos de citas
Encuestas de opinión
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• Miden la influencia intelectual, no la calidad• Cobertura y fuentes procesadas: los resultados son directamente
proporcionales al número y tipo de revistas procesadas.• Son un simple promedio de las citas obtenidas por los artículos de una
revista.– No son representativos del artículo medio: distribución asimétrica
de las citas.• Dependen:
– Tamaño de las comunidades científicas: nº científicos– Naturaleza y tipo de la disciplina científica: básica/aplicada– Hábitos de publicación y prácticas de citación de las comunidades
científicas: nº publicaciones por autor, nº referencias por artículo..– Tipos de trabajos publicados por la revista: revisiones, artículos,
cartas…– Rapidez en la publicación de las revistas (ventana de citación)– La fórmula de cálculo: numerador (citas) denominador (trabajos
citables)• Úsese el impacto observado (citas reales) y no el esperado (factor de
impacto).• Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos
comportamientos. (http://www.publicationethics.org.uk)• Los datos de citación deben ser cuidadosamente usados e
interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones
La repercusión científicaLos índices de impacto
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ÍNDICES DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICASREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
¿Qué son?
• Índices bibliométricos– Índices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas
– Convenciones internacionales: fórmula ISI– Complementarios no sustitutivos: visión nacional versus
internacional– Índices de impacto Índices de citas
• Revistas científicas españolas• Ciencias Sociales / Ciencias Jurídicas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
94%Revistas españolas
6%Revistas ISI
Producción española en Ciencias Sociales y Humanidades
ISOC versus ISI
1980-2004
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Las cifras de IN-RECS/IN-RECJ
Total IN-RECS IN-RECJ
Periodo cubierto 1994- 2001-
Revistas fuente 195 130 65 (32)
Revistas con
impacto calculado924 627 297
Artículos citables 195.496 154.608 40.888
Citas 55.512 43.949 11.563
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Metodología
1. Identificación población de revistas científicas españolas de ciencias sociales (± 600) y ciencias jurídicas (± 300)
Fuentes: Latindex, Directorio español de revistas de Ciencias Sociales y Humanidades, Dialnet,
Ulrich´s, REBIUN
Etapas del proyecto
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
2. Distribución revistas por áreas de conocimiento
Asegurar representación de todas las especialidades, entendiendo por tales las reflejadas en las
ÁREAS DE CONOCIMIENTO
– Clasificaciones temáticas asignadas por las propias bases de datos: CDU, UNESCO, Ulrich´s
– Clusters temáticos obtenidos por el método de las palabras asociadas
– Opinión investigadores
– Citas revistas
Etapas del proyecto
Metodología
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
3. Selección de las revistas fuente: ¿qué y cuántas revistas seleccionar para construir el índice de citas?- ¿Por qué ser selectivos? Ley de Bradford- Número de revistas a procesar por área de
conocimiento: Tamaño del campo: número de revistas de cada
campo, tamaño literatura circulante, productividad, número de profesores
- 120 revistas = 20% población revistas españolas Ciencias Sociales
- 65 revistas / 32 revistas = 20/10% población revistas españolas Ciencias Jurídicas.
- El endiablado sistema de citación bibliográfica en Derecho (cita-nota)
Etapas del proyecto
Metodología
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
La Ley de Bradford en ISI (SCI 1988)Distribución citas-revistas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• 22 revistas (2%) reciben el 50% de las citas
• 72 revistas (7%) reciben el 75% de las citas
Distribución Bradford
0
5
10
15
20
25
30
35
1 37 73 109
145
181
217
253
289
325
361
397
433
469
505
541
577
613
649
685
721
757
793
829
865
901
937
973
1009
Revistas
cita
s x
mil
Revistas
La Ley de Bradford en IN-RECS (2003) Distribución citas-revistas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Metodología
Criterios de selección
- Pervivencia o antigüedad Variable según disciplina: 6 a 9 años
- Calidad editorial*- Empleo de un riguroso sistema de selección y
evaluación de originales- Reputación y prestigio del editor y comités
editoriales
- Opinión profesores e investigadores españoles (calidad percibida)
- Impacto científico de las revistas españolas a nivel internacional*
Etapas del proyecto
* En Derecho no se han aplicado estos dos criterios
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Servidor EC3
Linux Suse 9.2, base datos postgres,
apache, php, ...
Tablas BD
Selección de revistas fuente por especialidades
Introducción de los artículos citables
Título, Autor….
Cindoc, Dialnet, CompludocPsicodoc, revista...
Carga en BD
Introducción de la producción de la revista por años
Cindoc, Dialnet, revista electrónica o en papel
Carga en BD
Obtención e introducción de las citas ISI de las revistas
Carga de citas
Introducción de las citas nacionales de las revistas
Una vez al año
Una vez al año
Una vez al año
SistemáticoCarga de citas
Cálculo de impactos e indicadoresResultados en web
http://ec3.ugr.es/in-recs/http://ec3.ugr.es/in-recj/
Sistemático
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Índice de impacto de las revistas
– Anual (INRECS: 1994- /IN-RECJ: 2001- ) y acumulativo (5 años/histórico: 9 y 13)
– Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría.
– Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad.
Prestaciones I
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• Artículos más citados de la especialidad– Indicadores: total de citas, citas nacionales e ISI.– Información: rtículos citados y citantes
• Autores más citados de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos
publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.
– Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad .
• Instituciones más citadas de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos
publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.
– Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad.
Prestaciones II
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Impacto revistas españolas de Ciencias Sociales y Jurídicas
2002-2006
• 90 revistas (10%) concentran el 65% de las citas.• 180 revistas (20%) concentran el 80% de las citas• El 30% de las revistas han sido incapaces de
obtener una sola cita en cinco años.• El 59% de las revistas obtuvieron 5 citas en cinco
años (1 por año) • El 90% de las citas proceden de revistas
españolas• Sólo el 26% de los artículos son citados• El número medio de citas por artículo es de 0,3
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Revistas españolas de Ciencias Sociales y Humanas:Valoración integrada e índice de citas
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
• Bases de DatosSe presentan las bases de datos internacionales en las que la revista está recogida.
• Índice Valoración A+BValoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área:
• Índice Impacto Medio (1999-2003)• Criterios Latindex• Evaluadores Externos
Los originales son informados por expertos externos a la entidad editora de la revista, antes de sen aceptados por el Consejo de Redacción.
• PeriodicidadCuando sus ejemplares se editan con un plazo que no supere el doble del anunciado
• Apertura exterior del Consejo Editorial o de RedacciónAl menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista.
• Apertura exterior de los autoresAl menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista
¿Qué es?
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Parámetros de calidadPuntuación máxima
1 Años vida de la revista 10
2 Cumplimiento de la periodicidad 13
3 Criterios Latindex 13
4 Revisores externos 16
5 Índice A + B 16
6 IIM 16
7 BBDD 16 Total 100
1. Años de vida de la revista
20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos
2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos
3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos
4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos
5. Índice A + B (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos
Tipo de base de datos A B C SD
Especializada del área 6 3 1,5 0,75
Especializada en otra área 3 1,5 0,75 0,35
Multidisciplinar 6 3 1,5 0,75
7. Bases de Datos
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Las cifras de RESH
Total
Revistas valoradas 939
Revistas citantes 208
Período cubierto para las
citas
1999-2003
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Subproducto de RESH elaborado para la ANECA
Indicadores: Bases de Datos, Periodicidad, Evaluadores externos,
Apertura consejo editorial, Apertura revista
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Sistema de evaluación integrada de
revistas españolas
OPINIÓN PARES
CALIDAD EDITORIAL
ÍNDICES DE
IMPACTO
CNEAIANEP
Agencias autonómicas
ANECA
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Futuro
Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Catálogo LatindexSistema Regional de Información en Línea para
Revistas Científicas de América Latina, el Caribe, España y Portugal
Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Las cifras del Catálogo Latindex
Total
Período cubierto 2002-
Revistas incluidas 3.098
Arte y Humanidades 511
Ciencias Sociales 1.962
Revistas españolas 1.077
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Características básicas
1 Mención del cuerpo Editorial
2 Contenido
3 Antigüedad mínima 1 año
4 Identificación de los autores
5 Lugar de edición
6 Entidad editora
7 Mención del Director
8 Mención de la Dirección
Características de presentación de la revista
9 Páginas de presentación
10 Mención de periodicidad
11 Tabla de contenidos (Indice)
12 Membrete bibliográfico al inicio del artículo
13 Membrete bibliográfico en cada página
14 Miembros del consejo editorial
15 Afiliación institucional de los miembros del consejo editorial
16 Afiliación de los autores
17 Recepción y aceptación de originales
Criterios y metodología de evaluaciónPara ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Características de los contenidos
26 Contenido original
27 Instrucciones a los autores
28 Elaboración de las referencias bibliográficas
29 Exigencia de originalidad
30 Resumen
31 Resumen en dos idiomas
32 Palabras clave
33 Palabras clave en dos idiomas
Características de gestión y política editorial
18 ISSN
19 Definición de la revista
20 Sistema de arbitraje
21 Evaluadores externos
22 Autores externos
23 Apertura editorial
24 Servicios de información
25 Cumplimiento de periodicidad
Criterios y metodología de evaluación II
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ERIH European Reference Index for the
Humanities
• Listas de buenas revistas europeas de investigación en Humanidades
• Creación paneles de expertos en 15 disciplinas
• Criterios– La selección de los artículos debe basarse en
una política de revisión objetiva (peer-review)
– Cumplimiento normas básicas de publicación• ISSN• Periodicidad: puntualidad en la aparición• Normalización referencias bibliográficas• Dirección completa filiación autores...
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ERIH European Reference Index for the
Humanities • Categoría A (10-25% de todos los títulos):
– Nivel muy alto de internacionalidad– Alta reputación entre los investigadores de un campo– Regularmente citada en todo el mundo
• Category B:– Nivel medio de internacionalidad– Buena reputación entre los investigadores de un
campo
• Category C:– Publicaciones europeas– Publicaciones de nivel local o regional– Audiencia local o regional pero con citas fuera de su
país de publicación Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
ERIH European Reference Index for the
Humanities
• Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology)
• Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research)
• Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
European Reference Index for the
Humanities Algunos resultados
España Principales paise
Arqueología 10 2,4 UK (20%), Finlandia (10,5), Dinamarca (10)
Estudios clásicos 23 9,1 Italia (26,3), Dinamarca (13,5), Francia (9,6)
Hª y Filosofia de la ciencia
8 4,2 UK (20,5), USA (18,1), Holanda (13,9)
Filosofia 11 3,6 UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Las bases de datos de Thomson Scientific
• Productor: Thomson Scientific (antiguo ISI)• WOS (Web of Science): Resultado de la unión de tres bases de datos bibliográficas
• Science Citation Index (SCI). 1945-• Social Science Citation Index (SSCI) 1956-• Arts & Humanities Citation Index (A&HCI) 1975-
• 9.000 revistas en el WOS• 1 millón artículos/año. 35 millones desde 1900 hasta hoy• 25 millones de referencias bibliográficas/año
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Lagunas bases de datos ISI
• Sesgo a favor de las ciencias básicas y experimentales:• 61% Ciencia y Tecnología• 21% Ciencias Sociales• 18% Humanidades
• Sesgo a favor de las publicaciones anglosajonas • Infrarepresentación de la ciencia española
• No indiza ninguna revista de las 323 revistas españolas
de Ciencias Jurídicas • Indiza sólo 12 de las 600 revistas científicas españolas
de Ciencias Sociales
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
España en el Web of Science
Revistas Españolas WOS
22
31
72
0
10
20
30
40
50
60
70
80
>1995 >2000 >2007
Años
Rev
ista
s
Trabajos Españoles WOS
86788
127764
172435
0
20000
40000
60000
80000
100000
120000
140000
160000
180000
200000
>1992-96 >1997-01 >2002-06
Periodos
Trab
ajos
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
H. Moed 2007 Metrics for the Humanities?
How do existing and emerging systems deal with Humanities?
The future of research assessment exercises lies in the intelligent combination of metrics and peer review
ERIH Stakeholder meeting: “Making quality visible: A European Reference Index for the Humanities (ERIH) to better access and assess European Humanities research”. European Science Foundation (ESF) / EC3: Evaluación de la ciencia y de la comunicación científica. Universidad de Granada. Granada 18-20 November 2007.
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Universidades públicasDistribución porcentual de los profesores numerarios por
tramos de investigación y grandes áreas (1989 – 2005)
Nuncapresentado
Evaluado yno
concedido
Total sin
tramos
HUMANIDADES 22 10 32
CIENCIAS SOCIALES Y
JURÍDICAS 39 14 53
CIENCIAS EXPERIMENTALES 17 7 24
CIENCIAS DE LA SALUD 27 13 40
TECNOLOGÍA E INGENIERÍA 46 10 56
NACIONAL 31 11 42
Fuente de datos: CNEAI
edelgado@ugr.es
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Universidades públicasDistribución porcentual de los profesores numerarios por
tramos de investigación y campos científicos (1989 – 2005)
Fuente de datos: CNEAI
Nunca presentado
Evaluado y no
concedido
Total sin tramos
MATEMÁTICAS Y FÍSICA 29 8 37QUÍMICA 5 5 10BIOLOGÍA CELULAR Y MOLECULAR 2 3 5CIENCIAS BIOMÉDICAS 27 14 41CIENCIAS DE LA NATURALEZA 13 10 23INGENIERÍAS Y ARQUITECTURA 45 10 55CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN
38 18 56
CIENCIAS ECONÓMICAS Y EMPRESARIALES
50 14 64
DERECHO Y JURISPRUDENCIA 18 11 29HISTORIA Y ARTE 20 9 29FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA 20 10 30