Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo
description
Transcript of Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo
![Page 1: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/1.jpg)
VI Jornadas MAVIRTecnologías de Acceso a la Información: Estado actual y retos
Universidad Rey Juan CarlosMóstoles (Madrid), 15-16 de noviembre de 2011
Una nueva miradaDe los Rankings de Institucionesa los de Científicos
Isidro F. AguilloThe Cybermetrics LabCCHS-CSIC. Madrid
![Page 2: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/2.jpg)
2
La descripción y evaluación de la actividad científica y sus resultados, de
sus ejecutores (individuos, instituciones, estructuras organizativas),
gestores (planificadores, financiadores) y otros actores involucrados en
su difusión y explotación (editores, empresarios, políticos, ciudadanos)
se ha convertido en una prioridad de las políticas de I+D+I
A pesar de las reticencias a asumir la cultura de la evaluación por parte de
numerosos sectores aún hoy en día
A pesar de las dificultades y los costes que supone describir correctamente los
distintos escenarios a diferentes niveles de agregación
A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a
interpretaciones erróneas o incorrectas que presentan la mayoría de las
técnicas empleadas
![Page 3: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/3.jpg)
3
El Ranking de Shanghai (2003)
• Escenarios no globales (antes de 2003)
– Estudios sobre la Educación Superior, muy puntuales con
tamaños de muestra pequeños o poco representativos
– Poca atención a los métodos cuantitativos, exclusión de la
bibliometría
• Impacto inesperado del Ranking de Universidades de Shanghai
– Debido a su publicación en la Web
– Uso innovador de un indicador compuesto: Lectura simple,
interpretación compleja
– Foco en la excelencia (Premios Nobel, científicos muy citados)
– Cobertura amplia: Top 500 “World-class universities”
![Page 4: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/4.jpg)
4
Rankings mundiales de universidades
• Tras el éxito de Shanghai, explota la oferta
– Basados en opiniones: QS, Times Higher Education
– Basados en métricas: Leiden, Scimago, HEEACT, Webometrics
• y arrecian las críticas
– Rechazo de la “sencillez”
– Sesgos, errores e intereses políticos y comerciales
• pero los rankings triunfan en las “Agendas”
– Elevada correlación de los diferentes rankings entre sí y con las
posiciones esperadas de muchas universidades
– Se imponen las estrategias y políticas basadas en resultados y
criterios de los rankings
![Page 5: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/5.jpg)
5
Indicadores compuestos
• Del “crown indicator” bibliométrico
– Una opción avanzada de la tasa citas/publicaciones
– Varios modelos: peso por disciplina (Leiden), peso por revista
(Karolinska)
• Al indicador compuesto del ranking de Shanghai
– Suma ponderada de variables
• ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%)
• i número de indicadores combinados
– Utilizado por otros rankings con diferentes modelos
– Críticas por la elección arbitraria de variables y pesos
![Page 6: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/6.jpg)
6
ACTIVIDAD IMPACTO
ARWU (Shanghai) 40% 60%
RANKING
QS 30% 70%
TIMES HIGHER EDUC 35% 65%
HEEACT (Taiwan) 20% 80%
WEB 50% 50%
Modelos de pesos
![Page 7: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/7.jpg)
7
Ranking Web
• Se edita desde 2004
– www.webometrics.info
– 20.000 instituciones de educación superior
– Dos ediciones al año (enero y julio)
– Basado en la presencia web y el análisis de enlaces
Citas Patentes MISIONES UNIVERSIDADES INVESTIGACIÓN DOCENCIA
COMPROMISO SOCIAL
TRANSFERENCIATECNOLOGÍA
INTERNACIONA-LIZACIÓN
WORLD-CLASS + + + + + + + + + + + + NACIONALES + + + + + + + + + + + + LOCALES + + + + + + + + +
<-------------------------------Encuestas------------------------------->
<---
Enla
ces-
-->
![Page 8: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/8.jpg)
8
Brecha Digital Académica
![Page 9: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/9.jpg)
9
Los rankings, aunque no exentos de críticas, han resultado ser muy
útiles a nivel institucional.
Problemas de viabilidad en la normalización de nombres de autores y
dificultades en el diseño de indicadores sintéticos han retrasado la
aparición de rankings de científicos a nivel global, pero la Web 2.0 está
abriendo una prometedora nueva vía en el logro de dicho objetivo
A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que
dificulta la generación de productos derivados de alto valor añadido
Y gracias a los nuevos proveedores gratuitos de bases de datos de citas:
Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones
ya ofrecen mayor cobertura y opciones más avanzadas
![Page 10: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/10.jpg)
10
Grupo DIH (Difusión del índice h)
![Page 11: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/11.jpg)
11
![Page 12: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/12.jpg)
12
![Page 13: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/13.jpg)
13
![Page 14: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/14.jpg)
14
![Page 15: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/15.jpg)
15
Propuestas de futuro
• Solo se puede evaluar la información pública
– A nivel individual, las páginas web personales de profesores e
investigadores ofrecen una excelente oportunidad
– Se pueden analizar cuantitativamente tanto los contenidos
(docentes, resultados y publicaciones científicas, actividades
informales) como su impacto
• Nuevos indicadores
– Indicadores web a través de presencia y posición en motores de
búsqueda, medida de impacto mediante análisis de enlaces y
menciones, especialmente a través de herramientas Web 2.0
– Indicadores de uso mediante análisis de visitas (Google Analytics)
![Page 16: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/16.jpg)
16
![Page 17: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/17.jpg)
17
Resumiendo
• No se puede ignorar los resultados ofrecidos por los Rankings
– Aunque no todos ellos son igualmente válidos o útiles
– Pero hay que diseñar estrategias lícitas que tengan en cuenta sus
características
• Los nuevos Rankings para individuos ya están aquí
– Ofrecen posibilidades de personalización que deben ser
conocidas y explotadas
– Pero hay que incrementar significativamente la presencia pública
de los investigadores, más allá de la mera trasposición del CV
científico a la Web
![Page 18: Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo](https://reader036.fdocumento.com/reader036/viewer/2022062500/568159e9550346895dc736c8/html5/thumbnails/18.jpg)
18
¿Preguntas?
¡Gracias!