Consideraciones sobre métricas alternativas en documentación científica

19
Consideraciones sobre métricas alternativas en documentación científica Flor Trillo XVI FENIE Coloquio de Revistas Académicas, UAEM Feria Internacional del Libro “Leer para transformar” 29 de agosto de 2014

description

Tipos de indicadores en documentación científica: publicaciones y patentes Las funciones de los indicadores de producción Indicadores bibliométricos según Jaso Algunos conceptos básicos y avanzados para entender la forma de medición Algunas controversias sobre el Factor de Impacto (FI) Métricas alternativas según Borrego Altmetrics.com Twitter y la publicación científica y de divulgación / ¿Cómo medimos el impacto? ¡Problemáticas desde la producción! = Definición del perfil científico Lo que hay que considerar al momento de evaluar y medir impacto

Transcript of Consideraciones sobre métricas alternativas en documentación científica

  • 1. Consideraciones sobre mtricas alternativas en documentacin cientfica Flor Trillo XVI FENIE Coloquio de Revistas Acadmicas, UAEM Feria Internacional del Libro Leer para transformar 29 de agosto de 2014

2. Contenido Tipos de indicadores en documentacin cientfica: publicaciones y patentes Las funciones de los indicadores de produccin Indicadores bibliomtricos segn Jaso Algunos conceptos bsicos y avanzados para entender la forma de medicin Algunas controversias sobre el Factor de Impacto (FI) Mtricas alternativas segn Borrego Altmetrics.com Twitter y la publicacin cientfica y de divulgacin / Cmo medimos el impacto? Problemticas desde la produccin! = Definicin del perfil cientfico Lo que hay que considerar al momento de evaluar y medir impacto 3. Tipos de indicadores mtricos en documentacin cientfica: publicaciones y patentes Bibliometra = Produccin que permite conocer: preferencias de temas, fuentes/revistas, instituciones de los investigadores, pases con los que se relaciona etc! Usabilidad = Manejo, traslado, origen de la consulta, etc.! Comunicacin cientfica = Digestin, validacin, asimilacin y evolucin del conocimiento. 4. Las funciones de los indicadores de produccin, segn Barre: Anlisis de las necesidades de los usuarios y la concepcin de los indicadores. Desarrollo de metodologa y las tcnicas. Coleccin de los datos y produccin de los indicadores. Almacenamiento y mantenimiento de los indicadores. Interpretacin y uso . Fuente: Milans-Guisado Y; Prez-Rodrguez Y; Peralta-Gonzlez MJ; Ruz-Ramos ME. Los estudios de evaluacin de la ciencia: aproximacin terico-mtrica. Disponible en: http://www.bvs.sld.cu/revistas/aci/vol18_6_08/aci041208.htm 5. Indicadores bibliomtricos segn Jaso: + PROS Identifica limitaciones Funciona para campos de conocimiento identificados y desarrollados Permite comparar entre grandes comunidades Coinciden con otros anlisis como la evaluacin por pares y estudios de caso cuando los niveles son amplios. - CONTRAS x No contempla los anlisis de tipo cualitativo. x No involucra a toda la gama de productos, canales de difusin y hbitos de publicacin de las distintas disciplinas x El anlisis de citas debe ser afinado porque no hay correspondencias exactas entre citas y calidad de la investigacin Fuente: Los instrumentos del evaluador de poltica cientfica y tecnolgica: hacia la construccin de metodologas adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodolo gias_adecuadas_a_la_realidad_Latinoamericana 6. Bibliometra: parte de la bibliotecologa que aplica mtodos matemticos y estadsticos a toda la literatura de carcter cientfico y a los autores que la producen, con el objeto de estudiar y analizar la actividad cientfica. Factor de Impacto: medida que define la importancia de una publicacin cientfica. Generalmente se calcula con base en un periodo de 2 aos, generados por ISI a travs del Journal Citation Report. Se calcula a travs de la suma de las citas de los dos aos de la revista, dividido entre la suma de los artculos publicados de la revista por dos aos. A = B/C ndice de Inmediatez: es la medida de la rapidez media con que los artculos publicados en una revista son citados. Considera citas hechas durante el mismo ao en que el artculo citado es publicado. Se calcula dividiendo el nmero de citas a artculos publicados en un ao concreto, por el nmero de artculos publicados en ese mismo ao. A = B/C ndice H (Jorge Hirsch-Universidad de California) sistema de medida que permite destacar a los investigadores ms destacados dentro de un rea de conocimiento. Se calcula a travs del nmero de documentos de un autor en orden descendente de nmero de citas recibidas y al enumerarlos el nmero que coincide es el ndice H = 7 (7 publicaciones con al menos 7 citas cada una) Algunos conceptos bsicos para entender la forma de medicin en materia bibliomtrica Medir un todo Medir una revista Medir la actualidad y pertinencia Medir la productividad de un autor (Web of Science/Scopus Medir la productividad de una revista o pas (SCImago Journal & Country Rank) 7. ndice G: cuantifica la productividad bibliomtrica basada en el historial de publicaciones de los autores (Leo Egghe, 2006), se calcula ordenando en forma descendente el nmero de publicaciones de un investigador de acuerdo con el nmero de citas recibidas. ndice G = 15 (la cantidad de citas acumuladas por estos 15 artculos ms citados es superior al 15 al cuadrado) Cuartil: es un indicador o medida de posicin de una revista en relacin con todas las de su rea. Se acomodan 100 revistas de mayor a menor factor de impacto y cada 25 representarn el Q1 si se encuentra entre el lugar 1-25, Q2: 26-50 FI, Q3: 51-75, Q4: 76-100. Source Normalized Impact per Paper (SNIP): diseado por la Universidad de Leiden (Pases Bajos), donde se mide el impacto de una cita segn las caractersticas de la materia sobre la que se investiga. Un campo de investigacin cientfica donde hay menos frecuencia de citas, cada cita individual tiene un valor ms alto que las citas en otras reas donde se publica con mayor frecuencia. Este se calcula entre Impacto en bruto por artculo publicado en una revista (RIP) entre Relativo potencial de cita que tiene el subcampo de la revista (RDCP) Algunos conceptos avanzados para entender la forma de medicin Mide la productividad e un autor basndose en su historial Medir el posicionamiento de una revista frente a las de su especialidad Medir/Comparar revistas de diferentes campos temticos 8. Es un portal que incluye revistas cientficas e indicadores cientficos por pases, desarrollado para contener informacin de Scopus base de datos de Elsevier B.V. Estos indicadores pueden ser usados para analizar y valorar dominios cientficos. De acuerdo con SCImago, Mxico ocupa el lugar 28 a nivel mundial en cuanto a cantidad de produccin cientfica, en cuanto a citacin ocupa el lugar 31 y el lugar 2 para la Regin de las Amricas en ambas cateogoras. SCImago Journal & Country Rank Fuente [Consultada en marzo de 2014]: http://www.scimagojr.com/ 9. Algunas controversias sobre el Factor de Impacto (FI) La relacin entre la tasa de citacin y el FI se ha reducido en los ltimos 40 aos George Lozano El FI se declara no apto para el servicio Stephen Curry WoS y JIF son inadecuados para el entendimiento del trabajo e impacto acadmico en regiones en desarrollo Juan Pablo Alpern Fuente: The Impact Factor and Its Discontents: Reading list on controversies and shortcomings of the Journal Impact Factor. The London School of Economics and Political Sciencie. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2014/07/30/reading- list-on-the-journal-impact-factor/ 10. Mtricas alternativas segn Borrego Faculty of 1000 selecciona artculos de calidad de medicina y biologa Google Scholar que genera ranking de revistas y generacin de citas sin conocer el universo analizado. COUNTER (Counting Online Usage of NeTworked Electronic Resources) que mide la usabilidad Almetric.com que analiza el impacto de las publicaciones en redes sociales Fuente: Borrego A (2013). Altmetrics: altres mtriques per mesurar limpacte de la informaci cientfica. Mesa Redonda Mtricas para la evaluacin de revistas. Disponible en: http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf 11. Altmetric.com (UK) Su misin es la de dar seguimiento y anlisis a la actividad en lnea de la produccin cientfica acadmica. Fuentes: Thelwall M; Haustein S; Larivire V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web Services. Disponible en: http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&representation=PDF Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact online. Disponible en: http://uksg.metapress.com/content/x65747080803n616/fulltext.pdf Sus fuentes mtricas son: 1. Twitter 2. Facebook 3. Research Highlights (NPG) 4. Blogs 5. Google + 6. Mainstream media citation 7. Reddits 8. Forums 9. Q&A 10. Pinterest (pinners) 11. LinkedIn 12. Twitter y la publicacin cientfica y de divulgacin El ciclo de vida de una publicacin es: Plantear la idea Discutirla Colaborar Experimentar Publicar Diseminar Divulgar 13. Cmo medimos el impacto? Tasa de interaccin: etiquetados y menciones Tiempo de permanencia: viralizacin Instalacin de vdeos y fotografas Nmero de seguidores, fans, reproducciones, likes o retweets Mensajes enviados y recibidos Densidad en las conversaciones Vela D. Qu es un editor de contenido o content manager mtricas del social media: SEO, SMO. Disponible en: http://www.slideshare.net/doloresvelagarcia/semianriojuevesqueycomo?qid=719736c6-de22-4863-8f47- 26ab8dbf2dd2&v=default&b=&from_search=1 14. REDALYC: Cmo es la produccin cientfica institucional? 15. REDALYC: Cmo es la colaboracin institucional? 16. REDALYC: Quin consulta el contenido institucional? Descargas de la produccin 2005-2011 17. Problemticas desde la produccin! = Definicin del perfil cientfico Si los autores/investigadores no tienen un perfil entonces: Habr poca visibilidad de anlisis Presencia nula en indicadores bibliomtricos Falta de impacto de nuestras contribuciones en la comunidad cientfica en donde nos vinculemos. Las opciones para crearlos son: Google Acadmico Microsoft Academic Search ResearchGate Researcher ID (Web of Science) ORCID (Scopus) En un estudio realizado en Scopus (2000-2012) a los investigadores del SNI-III en 2012, se excluyeron 504 de ellos (31,87%) por las siguientes causas: 342 de ellos (21,63%) no aparecen en el sistema. 162 de ellos (10,18%) presentan inconsistencias de nombre/apellido y su afiliacin no corresponde con la reporta el CONACYT, representando un 4,4% (6,725 publicaciones) de la produccin total de este grupo de investigadores El resultado de esta investigacin ser presentado en COLLNET 2014, Alemania. 18. Lo que hay que considerar al momento de evaluar y medir impacto cientfico segn Jaso: Conectividad = insuficiencia de desarrollo en actores clave; desarticulacin de las IES con los CPI, desarrollo tecnolgico; vinculacin con actores sociales y organizaciones en el exterior. Vinculaciones informales = evaluaciones en las redes de contratos, convenios, coautoras y citas. Produccin diferenciada = evaluacin debe ser representativa de las diversas comunidades como desarrollos aplicados a transferencia de tecnologa con empresas y comunidades rurales por ejemplo. Integracin de recursos locales y actores sociales = contribuciones como eslabones que articulan y fortalecen la innovacin. Incorporacin de nuevos actores en el diseo de las evaluaciones = actores sociales como investigadores, funcionarios, empresarios y comunidades rurales. Fuente: Los instrumentos del evaluador de poltica cientfica y tecnolgica: hacia la construccin de metodologas adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodologias_adec uadas_a_la_realidad_Latinoamericana 19. Cualquier duda, comentario y orientacin conctate a mis redes en: [email protected] www.facebook.com/flor.trillo @flortrillo http://www.slideshare.net/ftrillo mx.linkedin.com/in/flor.trillo http://www.directorioexit.info/ficha334