Evaluación de SciELO Chile
-
Upload
scielo-scientific-electronic-library-online -
Category
Documents
-
view
542 -
download
0
description
Transcript of Evaluación de SciELO Chile
Avaliação SciELO-Chile
Patricia Muñoz-PalmaPrograma de Información Científica – CONICYT – Chile
Atilio Bustos-González, SCImago Lab – EspañaPontificia Universidad Católica de Valparaíso – Chile
Plan de la presentación
• Contexto histórico • Metodología del estudio• Principales resultados• Algunas conclusiones• Desafíos
Contexto histórico
• Chile fue el primer país que acompañó a Brasil en la instalación de SciELO en el mundo.
• La gran socia de Abel Packer fue Anna María Prat.• SciELO inició sus operaciones en Chile en 1998, siendo
CONICYT el organismo nacional encargado implementar la metodología, construir la colección, y operar los servicios (Prat, 2000).
• En la experiencia chilena es muy difícil diferenciar los aportes de CONICYT de los de SciELO.
Fuente: Prat, Anna María. (2000). Programa Biblioteca Científica Electrónica en Línea, SciELO-Chile: una nueva forma de acceder a la literatura científica nacional. Biological Research, 33(2). En <http://www.scielo.cl/scielo.php? script=sci_arttext&pid=S0716-97602000000200003&lng=es&nrm=iso>
CONICYT- CHILE
Programa de Información Científica-CONICYT
Su propósito es fortalecer y asegurar el acceso a la información científica nacional e internacional para fines de investigación, educación e innovación.
Objetivos:
POTENCIAR LA VISIBILIDAD DE LA PRODUCCIÓN CIENTÍFICA NACIONAL JUNTO CON MEDIR CALIDAD Y SU IMPACTO.
DIVERSIFICAR LOS MECANISMOS DE ACCESO A LA INFORMACIÓN CIENTÍFICA COMO COMPONENETE DE LAS ACTIVIDADES DE I&D.
DISEÑO DE INSTRUMENTOS QUE PERMITAN REUTILIZAR Y GESTIONAR LA INFORMACIÓN CIENTÍFICA Y LOS DATOS DE INVESTIGACIÓN.
1
2
3
Acceso y Visibilidad
SciELO: Artículos científicos nacionalesConsorcio CINCEL: Artículos científicos internacionales RI
SciELOCINCEL
Sistema Nacional de Información
Científica
Acceso y preservación Patrimonio Científico NacionalRI 1: Proyectos de información referencialRI 2: Proyectos y artículos relacionados a textos completos
Acceso, difusión y evaluación
• Indicadores de productividad generada por proyectos CONICYT
• Indicadores de productividad nacional
Monitoreo de
producción
Acceso, difusión y transparencia• Acceso expertos por área• Facilitar contacto de pares• Visibilizar comunidad científica
Portal de Investigadores
Redes y vinculación
• Plataforma de colaboración científica de mayor impacto entre los investigadores de habla hispana, con presencia activa en más de 15 países de América Latina
RedCiencia
¿Por qué evaluar SciELO-Chile?
• Por ser uno de los componentes de la estrategia nacional de acceso a información científica.
• La evaluación es parte de la gobernanza de CONICYT.• Proceso que se debe aplicar a cualquier política pública
diseñada para intervenir en el sistema de C y T después de un periodo de tiempo.
• La Presidencia se adelantó a una evaluación del Ministerio de Economía.
• La evaluación es parte de la estrategia destinada a tener evidencia para defender y rediseñar el programa.
¿Para qué evaluar SciELO-Chile?
Contar con una línea base de información e indicadores que faciliten la toma de decisiones.
• Verificar si la misión y objetivos declarados por SciELO –Chile, se han cumplido y grado de eficiencia en su ejecución (declaración política y pública).
• Conocer impacto del instrumento en el sistema de ciencia y tecnología y sus externalidades positivas.
• Analizar cualitativamente de la colección de revistas indexadas en SciELO Chile.
Preguntas de investigación1. ¿Cuál es el impacto de SciELO-Chile sobre la formación de pregrado?
2. ¿Cuáles son las prácticas de los académicos para estimular el uso de SciELO-Chile en los estudiantes?
3. ¿Cuáles son los hábitos de los estudiantes en relación con el uso de revistas incluida en SciELO-Chile?
4. ¿Cuáles son los hábitos de los académicos e investigadores en relación con el uso de la SciELO-Chile?
5. ¿Por qué son tan altas las estadísticas de acceso a SciELO-Chile?
6. ¿Existen usos de SciELO-Chile no previstos en el diseño del programa?
7. ¿Cuál es el grado de conocimiento, uso y valoración que los alumnos hacen de SciELO-Chile?
8. ¿Cuál es el grado de conocimiento, uso y valoración que los académicos hacen de SciELO-Chile?
9. ¿Cuál es el grado de conocimiento, uso y valoración que los investigadores hacen de SciELO-Chile?
10. ¿Cuál es el grado de conocimiento, uso y valoración que los editores tienen de SciELO-Chile?
11. ¿A juicio de los editores cuáles son las fortalezas y debilidades de SciELO-Chile?
12. ¿Cuál ha sido el efecto de la existencia de SciELO-Chile sobre la visibilidad, calidad e impacto de la ciencia generada en Chile y en la región?
13. ¿Cuáles son los campos temáticos en que SciELO-Chile es más valorado por diferentes audiencias?
14. ¿Se justifica la existencia de SciELO-Chile?
15. ¿Los servicios ofrecidos por SciELO-Chile responden a la promesa?
16. ¿Cuáles son las mayores críticas y recomendaciones que se realizan de SciELO-Chile?
17. Y más ¿..?
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
Metodología • Desarrollar una evaluación multidimensional. Cada dimensión requirió la
definición de una metodología específica, y generó un informe:• Estudio bibliométrico de las revistas SciELO-Chile.• Estudio de percepción de los usuarios de SciELO-Chile.• Estudio de impacto de SciELO-Chile en los estudios de pregrado.• Estudio de impacto de SciELO-Chile en la comunidad científica chilena y en la colaboración internacional.• Estudio de la cadena de producción de SciELO-Chile.
• Se trabajó con las 88 revistas vigentes que integraban SciELO-Chile a diciembre 2011.
• Los estudios bibliométricos, en todos los casos que fue posible, abarcaron la ventana temporal 1999-2011.
• Como fuente de datos bibliométricos se utilizó la base de datos comprensiva SCOPUS®.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
HallazgosSciELO en la producción científica chilena
Evolución de la producción chilena total, de la comunicada en revistas SciELO-Chile y en revistas de la Red-SciELO
Fuente: Datos Scopus. Análisis: SCImago Research Group.
HallazgosSciELO-Chile en la producción científica OA
El 2011 un 24.8 % de la producción chilena, se publicó en revistas OA con acceso internacional inmediato (Scopus).
El 2011 un 11% de la producción científica mundial fue comunica en revistas OA con acceso inmediato (Scopus).
Fuente: Laakso and Björk. Anatomy of open access publishing: a study of longitudinal development and internal structure. MDC Medicine. 10, 124 (2012). doi:10.1186/1741-7015-10-124
HallazgosEspecialización temática y esfuerzo investigador
% de documentos por área temática publicados en revistas SciELO-Chile el 2011Fuentes: Datos - Scopus. Análisis - SCImago Research Group.
HallazgosEspecialización temática y esfuerzo investigador
Esfuerzo investigador total y en SciELO-Chile por área temática (con más del 4%) el 2011, comparado con producción chilena total del año 2011 en revistas Q1 e
impacto normalizado que alcanzó la producción científica chilena por área temáticaFuentes: Datos - Scopus. Análisis - SCImago Research Group.
Área temática
A Chile %
producción total 2011 en Scopus
B Chile %
producción en
SciElo-Chile 2011
Delta A-B
Chile % producción
total en Q1 2011
Chile Impacto
normalizado 2005-2011
Medicina 16,6% 33,0% -16,4% 29,36% 0,90Agricultura y ciencias biológicas 12,7% 17,5% -4,8% 42,70% 0,84Ciencias planetarias y de la tierra 9,9% 4,4% 5,5% 65,71% 1,25Física y astronomía 6,7% 0,0% 6,7% 67,72% 1,14Ciencias sociales 6,3% 14,7% -8,4% 25,25% 0,62Bioquímica, genética molecular y biología5,8% 2,1% 3,7% 42,20% 0,97Matemáticas 5,7% 0,2% 5,5% 45,72% 1,05Ingeniería 4,9% 3,2% 1,7% 39,61% 1,26Ciencias ambientales 4,2% 9,1% -4,9% 55,22% 0,93
HallazgosAporte SciELO-Chile a la visibilidad de las disciplinasCaso 1 - Revista indexada en SciELO-Chile y Scopus
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.034
0.056
0.050
0.086
0.1070.137
0.100
0.182
0.285
0.246
0.323
0.309
0.142
0.096
0.100
0.097
Chile-Mundo Revista-Mundo
Impa
cto
norm
aliz
ado
HallazgosAporte SciELO-Chile a la visibilidad de las disciplinasCaso 2 - Revista indexada en SciELO-Chile, Scopus y WoS
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
0.991
0.820
1.010
0.891
1.046
1.130
0.961
1.240
1.359
1.205
1.4911.460
0.240
0.435
0.416
Chile-Mundo Revista-Mundo
Impa
cto
Nor
mal
izad
o
Mundo
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20100.0
0.1
0.2
0.3
0.040
0.018 0.0200.032
0.039
0.074
0.055
0.078
0.123
0.000
0.162
0.200
0.187
0.173
Chile-Mundo Revista-Mundo
Impa
cto
Nor
mal
izad
o
Mundo
Hallazgos Aporte SciELO-Chile a la visibilidad de las disciplinasCaso 3 - Revista indexada en SciELO-Chile y Scopus
Hallazgos Impacto
Distribución porcentual de revistas Red-SciELO por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
Hallazgos Evolución de la proporción de publicaciones e impacto normalizado por cuartil de revista de publicación
Año % Q1Normalized
citation in Q1% Q1
Normalized citation in Q1
% Q1Normalized
citation in Q1% Q1
Normalized citation in Q1
% Q1Normalized
citation in Q1
2003 45,68% 1,15 46,95% 1,09 53,04% 1,21 60,19% 1,29 46,65% 1,252004 42,71% 1,21 45,76% 1,15 54,68% 1,25 53,66% 1,39 41,18% 1,342005 38,73% 1,37 39,74% 1,23 51,58% 1,24 50,23% 1,33 44,56% 1,432006 33,43% 1,31 37,53% 1,27 49,34% 1,41 43,92% 1,39 34,44% 1,592007 33,04% 1,33 37,34% 1,32 47,08% 1,39 43,71% 1,42 33,77% 1,772008 31,41% 1,38 36,66% 1,35 46,46% 1,52 41,47% 1,39 28,69% 1,522009 29,51% 1,40 34,69% 1,50 44,01% 1,53 40,49% 1,53 25,62% 1,592010 28,82% 1,39 33,59% 1,42 42,76% 1,46 40,77% 1,48 24,77% 1,772011 29,75% 1,49 35,98% 1,65 44,32% 1,75 42,93% 1,75 27,50% 2,34
Brazil Mexico Argentina ColombiaChile
Año % Q2Normalized
citation in Q2% Q2
Normalized citation in Q2
% Q2Normalized
citation in Q2% Q2
Normalized citation in Q2
% Q2Normalized
citation in Q22003 37,65% 0,68 39,41% 0,51 37,88% 0,63 30,84% 0,70 42,44% 0,552004 40,65% 0,67 37,70% 0,56 39,31% 0,65 38,49% 0,68 38,53% 0,502005 39,43% 0,70 38,16% 0,58 39,81% 0,63 37,70% 0,69 33,16% 0,632006 38,57% 0,71 35,99% 0,62 38,64% 0,73 36,56% 0,76 39,00% 0,792007 38,32% 0,70 37,22% 0,60 41,57% 0,67 34,87% 0,72 33,82% 0,652008 35,55% 0,73 29,85% 0,72 34,58% 0,74 32,27% 0,81 26,91% 0,892009 31,98% 0,68 28,89% 0,66 34,49% 0,69 31,06% 0,68 22,90% 0,802010 30,88% 0,71 30,68% 0,71 33,39% 0,73 33,41% 0,71 22,05% 0,852011 29,35% 0,69 30,00% 0,71 33,30% 0,70 31,26% 0,75 23,67% 0,81
Brazil Mexico Argentina Chile Colombia
Año % Q3Normalized
citation in Q3% Q3
Normalized citation in Q3
% Q3Normalized
citation in Q3% Q3
Normalized citation in Q3
% Q3Normalized
citation in Q32003 23,41% 0,38 17,47% 0,32 18,30% 0,28 16,29% 0,41 23,65% 0,382004 23,45% 0,39 21,25% 0,29 17,64% 0,30 16,91% 0,37 28,31% 0,262005 25,98% 0,40 24,07% 0,28 17,11% 0,35 19,88% 0,38 27,43% 0,302006 32,76% 0,38 26,81% 0,29 23,20% 0,33 25,82% 0,40 32,39% 0,262007 33,93% 0,40 27,88% 0,34 21,74% 0,43 29,07% 0,35 35,76% 0,352008 36,46% 0,41 32,00% 0,34 24,62% 0,47 28,00% 0,48 32,14% 0,442009 38,95% 0,38 30,57% 0,34 25,31% 0,42 30,23% 0,42 34,10% 0,312010 36,28% 0,34 26,46% 0,34 24,15% 0,42 23,66% 0,39 26,75% 0,292011 32,88% 0,35 27,87% 0,37 26,24% 0,39 23,49% 0,43 26,58% 0,33
Brazil Mexico Argentina Chile Colombia
Año % Q4Normalized
citation in Q4% Q4
Normalized citation in Q4
% Q4Normalized
citation in Q4% Q4
Normalized citation in Q4
% Q4Normalized
citation in Q42003 9,30% 0,36 8,95% 0,36 7,37% 0,37 7,32% 0,40 7,42% 0,252004 8,60% 0,41 8,10% 0,41 6,36% 0,57 5,47% 0,60 8,33% 0,432005 7,46% 0,43 7,99% 0,33 7,74% 0,31 7,30% 0,81 9,34% 0,232006 10,99% 0,33 9,20% 0,24 6,55% 0,24 9,04% 0,24 8,23% 0,232007 12,66% 0,34 11,05% 0,34 9,41% 0,31 11,25% 0,34 14,70% 0,242008 13,57% 0,29 12,74% 0,24 11,63% 0,23 14,67% 0,37 25,27% 0,172009 13,89% 0,24 14,99% 0,23 13,05% 0,23 14,60% 0,29 27,74% 0,152010 17,51% 0,18 18,65% 0,20 14,99% 0,21 17,35% 0,35 29,58% 0,142011 21,14% 0,16 16,33% 0,19 13,73% 0,25 19,17% 0,24 25,96% 0,19
Brazil Mexico Argentina Chile Colombia
Sin cuartil, por debajo de estos impactos normalizados
Fuente: SCImago Institutions Ranking. Fuente de datos: Scopus.
Hallazgos Prestigio de la colección SciELO
Distribución porcentual de revistas Red-Scielo por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
1 32 45 6
Hallazgos Prestigio de la colección SciELO
Distribución porcentual de revistas Red-Scielo por cuartil - 2011Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
1 32 45 6
Q1 Q2 Q3 Q4 Sin Q Rank
Argentina 1,1% 7,8% 14,4% 76,7% 5
Brasil 2,4% 8,3% 26,6% 30,6% 32,1% 1
Chile 1,1% 8,0% 23,9% 36,4% 30,7% 2
Colombia 0,8% 6,5% 22,0% 70,7% 6
México 5,9% 9,9% 15,8% 68,3% 3
Venezuela 5,8% 7,7% 40,4% 46,2% 4
n∑ SNIP 2011
media desviación estandar
coeficiente variación
mediana Moda Rank
Argentina 32 6,360 0,20 0,16 78,71 0,2 0,1 4
Brasil 215 96,226 0,45 0,35 77,32 0,4 0,0 1
Chile 57 19,780 0,35 0,25 71,16 0,3 0,0 2
Colombia 38 1,165 0,03 0,02 73,62 0,0 0,0 6
México 54 12,431 0,23 0,21 92,53 0,1 0,0 3
Venezuela 36 5,194 0,14 0,19 132,71 0,4 0,0 5
Resultados Impacto de la colección SciELO
Comparación de SNIP 2011 medio de colecciones Red-SciELOFuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
Created by Professor Henk Moed at CTWS, University of Leiden, Source-Normalized Impact per Paper (SNIP) measures contextual citation impact by weighting citations based on the total number of citations in a subject field. It is defined as the ratio of a journal’s citation count per paper and the citation potential in its subject field. It aims to allow direct comparison of sources in different subject fields. Fuente: JournalM3trics. http://www.journalmetrics.com/snip.php Consultado el 16.10.2013.
HallazgosSe confirma que SciELO-Chile es reconocido por gestores de políticas públicas, directivos universitarios y editores científicos, como un sello de calidad.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
Conclusiones҉ Mientras en el mundo el 11% de la producción científica fue comunica en revistas OA, en Chile fue el 24,8%.҉ SciELO-Chile, si bien es comprensivo, a nivel de artículos mantiene una especialización temática en medicina y una parte significativa de las revistas son de ciencias sociales.҉ Algunas revistas que se internacionalizan, logran desempeños por encima de su comunidad disciplinaria local, favoreciendo su desarrollo.҉ Existe una proporción significativa de títulos que no alcanzan cuartil, mostrando estos un desempeño periférico.҉ Las mejores colecciones SciELO son las de Brasil y Chile. ҉ El prestigio y el impacto no son homogéneos en la Red-SciELO.҉ SciELO-Chile es reconocido como un sello de calidad.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.
Desafíos – SciELO ChileRevistas indexadas en SciELO- Chile
• Incrementar los niveles de calidad.
• Fortalecer la profesionalización de los editores.
• Internacionalizar las revistas: idioma, autores,
evaluadores, lectores.
• Diversificar los modelos de negocios.
• Fortalecer los canales de comunicación de confianza.
Desafíos – SciELO-Chile
Asociado a la gestión en CONICYT• Mejorar el impacto de las revistas actualmente
indexadas en SciELO Chile.• Fortalecer la cadena de producción con
plataformas de edición científica, que agilicen la evaluación y la publicación oportuna. (extracción de datos , web services, revistas editadas en OJS) etc.)
Desafíos SciELO-Chile
Asociado a la gestión en CONICYT• Potenciar la formación de editores profesionales.• Medir consumo de información, y no satisfacción o
demanda.• Implementar métricas que no estén solo enfocadas a
la citación. (visión global de la colección )• Incorporar proceso de auditorías y control de calidad
a las revistas para eliminar malas prácticas como: exceso de auto citación, y criterios que afectan a la visibilidad de la revista y se alejan de la calidad exigida por SciELO.
Desafíos SciELO-ChileAsociado a la gestión en CONICYT• Generar código de ética nacional que permita una
actuación única frente a conductas inadecuadas de autores o editores (ej. COPE).
• Servicio para la evaluación de pares, Base de datos de investigadores y evaluadores nacionales e internacionales.
• Diseñar e implementar plataforma de SciELO-Chile Datos, Acceso, preservación y transparencia de los datos de investigación utilizados en los artículos publicados en SciELO-Chile.
Parabéns SciELO
Patricia Muñoz-PalmaPrograma de Información Científica – CONICYT – Chile
Atilio Bustos-González, SCImago Lab – EspañaPontificia Universidad Católica de Valparaíso – Chile