Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 ›...
Transcript of Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 ›...
![Page 1: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/1.jpg)
Módulo de Evaluación por Pares en Abierto para Repositorios de Acceso Abierto
Emilio Lorenzo, Concha Mosquera-de-Arancibia,
Pandelis Perakakis, Isabel Bernal, Carles Sierra
![Page 2: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/2.jpg)
2
Por qué evaluación en abierto
• Dinámica interconectada de la comunidad científica
• Papel crucial de los repositorios
• Evaluación: valor añadido
• Calidad del trabajo ← revisiones de expertos (no visitas, descargas)
• Desarrollo 1er Módulo de Evaluación por Pares en Abierto (OPRM)
![Page 3: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/3.jpg)
Proyecto del consorcio
3
Financiado por
http://www.openscholar.org.uk/institutional-repositories-start-to-offer-peer-review-services http://www.repositorio.ieo.es/e-ieo/handle/10508/9990 http://proyectos.bibliotecas.csic.es/digitalcsic/oprm/index.html https://zenodo.org/record/154647/files/OpenAIREs%20OPR%20Experiments%20report_final.pdf
OPRM
![Page 4: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/4.jpg)
4
Sistema de evaluación ¿Qué entendemos por Open Peer Review?
• Abierto
• Transparente
• No selectivo
• Basado en evaluación cuantitativa de trabajos y comentarios
• Abierto en el tiempo
• Las revisiones las pueden comentar los otros revisores del trabajo y sus autores
![Page 5: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/5.jpg)
El modelo de reputaciones se basa en
• La evaluación cuantitativa de trabajos y de comentarios
• La reputación del revisor, que depende de la de sus revisiones
5
http://digital.csic.es/handle/10261/130842
![Page 6: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/6.jpg)
6
Cómo funciona el OPRM
• Módulo de invitación
• Módulo de revisiones
• Cálculo de reputaciones
• Personalización de vistas: ítems, autores, relación entre ítems, colecciones,…
Código abierto
• Para DSpace v 5 XMLUI (e-IEO) https://github.com/arvoConsultores/Open-Peer-Review-Module
• Para DSpace-CRIS v 4 JSPUI (DIGITAL.CSIC) https://github.com/arvoConsultores/dspace-cris
• Wiki del proyecto https://github.com/arvoConsultores/Open-Peer-Review-Module/wiki
![Page 7: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/7.jpg)
7
DSpace v 5.2 XMLUI http://www.repositorio.ieo.es/e-ieo/ DSpace-CRIS v 4.3 JSPUI http://digital.csic.es
Con modelos de autor avanzados necesarios para
• Identificar
• Desambiguar
• Mostrar las reputaciones
![Page 8: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/8.jpg)
Cualquier especialista puede evaluar
8
Cont.
![Page 9: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/9.jpg)
9
Nuevos ítems en nuevas colecciones:
Que enlazan con trabajo y revisión evaluados http://www.repositorio.ieo.es/e-ieo/handle/10508/10100
http://www.repositorio.ieo.es/e-ieo/handle/10508/7818
https://digital.csic.es/handle/10261/133347
http://digital.csic.es/handle/10261/132996
Revisiones Comentarios
![Page 10: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/10.jpg)
10
Reputación como autor y como revisor, en el perfil de autor
http://www.repositorio.ieo.es/e-ieo/browse-by
![Page 11: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/11.jpg)
11
Comentarios de los investigadores IEO y CSIC invitados al proyecto piloto
• Servicio innovador y esperado
• El intercambio abierto de evita subjetividad y facilita autoevaluación
• Permite colaboración transparente que asegura revisión por expertos
• Una evaluación negativa podría crear situación incómoda entre colegas
• Potencial mayor cuando no haya que invitar formalmente a evaluar
• Evaluar necesita motivación sólida: reconocimiento institucional y en CV
• Gran utilidad para preprints, datasets, material divulgativo y docente, informes,…
• Requerirá tiempo: el sistema actual está muy integrado en la comunidad científica
• Apoyo → ciencia abierta en plataformas de evaluación con métricas independientes
![Page 12: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/12.jpg)
12
Preguntas frecuentes
• http://www.repositorio.ieo.es/e-ieo/page/oprmfaq
• http://digital.csic.es/handle/10261/135982
Muchos retos…
• Identificación y autenticación de revisores
• Estandarización de reputaciones y algoritmos…
• Intercambio de reputaciones entre repositorios…
…Y algunas ideas
• Campañas de sensibilización institucional http://digital.csic.es/handle/10261/136937
• Animar a los autores a utilizar el módulo con sus preprints
• Plataforma transversal de evaluación con métricas independientes y comparables…
![Page 13: Emilio Lorenzo, Concha Mosquera -de-Arancibia, Pandelis …eprints.rclis.org › 30132 › 1 › ponencia BIREDIAL2016.pdf · 2016-10-22 · Módulo de Evaluación por Pares en Abierto](https://reader034.fdocumento.com/reader034/viewer/2022052519/5f1b22c83c3fae627d46b591/html5/thumbnails/13.jpg)
13
Muchas gracias por su atención
Emilio Lorenzo [email protected] Concha Mosquera-de-Arancibia [email protected]