Evaluación de la visibilidad y el impacto de la actividad científica
-
Upload
orlando-gregorio-chaviano -
Category
Presentations & Public Speaking
-
view
48 -
download
0
Transcript of Evaluación de la visibilidad y el impacto de la actividad científica
Evaluación de la visibilidad y el impacto de la actividad científica: herramientas, métodos e
indicadores en un nuevo contexto.
Orlando Gregorio-Chaviano. Departamento de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá.
20 de Octubre / 2017
ACUERDO DE BIBLIOTECAS DE CÓRDOBA. ARGENTINA. QUIÉN ES QUIÉN - 2017.
o Evaluación de la investigación basada en la publicación de artículos científicos como eje fundamental de la evaluación
o Web of Science (WoS) y Scopus como fuentes de uso en la evaluación de la actividad científica
o Calidad basada en citas y desde ellas los sistemas de incentivos
o Concepto de internacionalización y visibilidad a partir de presencia y criterios WoS y Scopus
o Aumento de las herramientas de medición
o Fuentes y sistemas regionales como herramientas alternas
o Revistas nacionales en el contexto de la corriente principal
ACTUALIDAD
Citas, posición en cuartiles eÍndice h como medidas de rendimiento
científico
Estrategias de visibilidad, impacto y gestión de la investigación y de las revistas
LA REALIDAD
Fuentes Revistas
Web of Science (WoS) 19
Scopus 55
Scielo 121
Redalyc 79
Latindex 726
ARGENTINA – CORRIENTE PRINCIPAL
Fuente: Web of Science y Scopus
Área Documentos WoS Citas WoS Ncit/Ndoc
Medicina Clínica 2.589.000 32.000.000 12.5Ciencias Sociales 850.000 5.500.000 6.5
TENDENCIAS
Categoría Revistas Citas Factor de impacto promedio
Matemáticas 311 440,200 0,6
Gerencia 194 607,000 1,7
Biología Celular 190 2,000,000 3,3
Historia 87 25,600 0,3
Fuente: JCR, 2016
o Herramienta de evaluación y disciplina instrumentalo Aporte de indicadores que posibilitan el análisis cuantitativo y cualitativo para conocer y regularidades
BIBLIOMETRIA. ¿QUÉ ES?
Determina de forma sistemática y objetiva, la relevancia, eficiencia, eficacia, pertinencia, progreso y efectos de una actividad en función de los objetivos.
CONTROL – APRENDIZAJE - INTERVENCION
BIBLIOMETRIA - IMPORTANCIA
Se basa en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.
FUNDAMENTACION
o La evaluación basada en revistas como eje central de la evaluación
o La mayor parte de las políticas científicas y la evaluación del rendimiento científico (en diferentes agregados) se articulan en torno a bases de datos, indicadores y productos de evaluación basados en la Bibliometría
o El rendimiento científico se suele comparar mediante rankings construidos desde la Bibliometría
o Los recursos asignados a la investigación tienen en cuenta los indicadores bibliométricos
¿PORQUE FAMILIARIZARSE?
o El “prestigio” de un investigador se mide por sus publicaciones científicas
o La publicación científica en forma de artículo, como principal insumo en la evaluación
o La cita como reflejo de la visibilidad y la influencia científica
PRINCIPIOS BASICOS DE EVALUACION DE LA CIENCIA
o Web of Science (WoS)
o Scopus
o Google Scholar (GS)
Otras fuentes y sistemas (dinámica y debate regional):
o Scielo
o Redalyc
o Latindex
o Medline, Biosis…..
FUENTES DE DATOS
o Total de documentos
o Total de citas
o Factor de impacto (Impact Factor)
o Índice h (autores y revistas)
o Eingenfactor Score
o Article influence Score
o CiteScore
o Citas normalizadas
o …
INDICADORES
o El Factor de impacto como un indicador bibliométrico que no se ajusta a la realidad latinoamericana, se puede manipular ….
o El Scimago Journal Rank (SJR) de Scopus, manipulable y difícil de reproducir y entender.
o No favorecen a las Ciencias Sociales y Humanidades
o El Índice h como indicador de rendimiento (dependiente de la producción y la citación)
o Las métricas alternativas deben utilizarse en la evaluación (métricas de uso y alternativas – altmétrics)
o ¿Porqué solo WoS y Scopus y sus indicadores como fuentes de evaluación?
DEBATE - INDICADORES
DECLARACION DE SAN FRANCISCO (DORA)
1.Necesidad de eliminar el uso de métricas basadas en revistas, como índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción
2.Necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación (evaluar el contenido y no el soporte)
MANIFIESTO DE LEIDEN
1.El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador
2. La excelencia en investigación de relevancia local debe ser protegida
3. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta
4. Diferenciar niveles de agregación en la evaluación (micro y macro)
MIRADAS EN UN NUEVO CONTEXTO
o Las diferencias disciplinares y su importancia en la gestión de información y en la evaluación (doble mirada)
o Tipologías documentales y prácticas de publicación diferentes
o Entender los indicadores, su contexto, utilización en la evaluación micro y macro (diferencias entre el factor de impacto y el SJR).
o Familiarizarse con las bases de datos y la calidad de WoS a pesar de sus sesgos.
o Conocer los núcleos de productividad y las tendencias y utilizarlo en la investigación
o Planear la investigación en función de la visibilidad, la misión y objetivos
o El contexto local y el debate regional existente en la actualidad
o Las críticas a la cita “como moneda de cambio” en la investigación
o Fuentes de datos de interés (WoS, Scopus, Scielo…)
o Conocimiento experto (profesionales de la información)
o La investigación como eje importante de la actividad de la universidad
o Necesidad (y posibilidades) de pasar de servicios tradicionales a servicios de apoyo a la investigación
o Nuevos conceptos (CRAI, Unidad Bibliométrica…)
BIBLIOTECA UNIVERSITARIA EN EL ENTORNO DE LA INVESTIGACIÓN
REPENSANDO EL ROL
TRES ENFOQUES DE TRABAJO
1.Control de fuentes (sistematizar la información producida)
2.Generación de indicadores (diseñarlos o seleccionarlos pero en relación a la misión y objetivos institucionales, de grupos de investigación)
3.Capacitación (evaluación de tendencias, selección de revistas, manejo de índices de citación, diseño y análisis de indicadores, evaluación de revistas para la indexación)
SERVICIOS BIBLIOMÉTRICOS – UNIDADES DE BIBLIOMETRIA
Grupos Criterios PonderacióngA 1. Publicaciones en Q1-Q2 de WoS o Q1 de Scopus o una patente de invención
2. Libro o capítulo de libro en Book Citation Index (BCI)
2 puntos
gB Publicaciones en Q3 o Q4 de WoS o Q2-Q3 de Scopus 1,4 puntos
gC 1. Publicaciones en Q4 de Scopus (revistas con CiteScore bajo)
2. Publicaciones en Redalyc, Scielo, Latindex o Emerging Source con más de 10 citas en Google académico
3. Publicaciones en bases de datos internacionales de la especialidad.
4. Libro o capítulo de libro de visibilidad nacional
1,0 puntos
gD 1. Ponencia en congresos citados en GA
2. Presentación de proyecto internacional
2. Publicación en base bibliográfica de corte regional.
0,4 puntos
gE Proyectos nacionales, actividades de revisión, 0,2 puntos
Total 5 puntos
EVALUACION INTEGRAL DE LA INVESTIGACION
o Indicadores basados en citas se seguirán usando más allá de la existencia de métricas alternativas y el aumento de herramientas de medición (indicadores tradicionales, alternativos, ranking..)
o Las bases de datos de citación (WoS y Scopus) como insumos para las instituciones y agencias de evaluación.
o Google académico como importante fuente (necesidad de normalización y limpieza).
o Construcción de indicadores para las Ciencias Sociales.
o Mas que “pelear” contra los métodos de evaluación e indicadores y sumarse a nuevas corrientes: entenderlos, generar alternativas, planear….
CONCLUSIONES (PARCIALES)
Muchas Gracias [email protected]