Lluís Codina (UPF) Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona,...

Lluís Codina (UPF)

Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona, Mayo 2011

Propuesta de buenas prácticas en evaluación de artículos

(peer review)

Estructura

Dos proposiciones y sus corolariosPropuestas a partir de los anterioresTemas abiertos

Mayo 2011L. Codina - CRECS 2011

Primera parte

Proposiciones


Primera proposición

La literatura científica tiene géneros y modalidades Corolario general: es posible establecer una lista

(aunque sea orientativa) de géneros y modalidades Corolario para las publicaciones 1: las revistas pueden

declarar formalmente qué géneros y modalidades admiten

Corolario para las publicaciones 2: las revistas pueden declarar formalmente cuáles se someten peer review


Ejemplo 1

Por simple triangulación (artículos, proyectos y bibliografía sobre investigación científica) podemos obtener al menos estos géneros:

Estados de la cuestión (state of art) Desarrollos experimentales Modelos conceptuales Estudios de caso Desarrollos y propuestas metodológicas


Ejemplo 2

Por el mismo procedimiento podemos obtener, al menos, estas clases de investigaciones: Cuantitativas Cualitativas Exploratorias Explicativas


Ejemplo 3

Por tipo de artículos admitidos a revisión por las revistas de mayor prestigio en ciencias podemos obtener estas modalidades de dos ejemplos ilustres: Science:

Research articles Reports Brevia Reviews Technical comments

Nature: Article Letter Reviews and Perspectives Analysis Hypothesis


Segunda proposición

El género y/o la modalidad del artículo debe formar parte de la evaluación Corolarios para los evaluadores

C1 (en negativo) No exigir elementos ajenos al género. Corolario previo: debe conocer los géneros o modalidades.

C2 (en positivo): Debe evaluar la presencia/ausencia y su adecuación de los elementos correspondientes al género

C3 (en síntesis): Intentar evaluar el artículo «tal como es». No proponer un artículo nuevo o de un género distinto


Segunda parte

Propuestas logísticas


Revista

Elaborar una lista de géneros admitidos y/o preferidos

Redactar una descripción de las características generales deseables de cada género. Indicar: Qué géneros se someten a evaluación tipo peer review

(además de la revisión editorial) Qué géneros (sin perjuicio del peer review) pueden ser

solicitados directamente por los editores Qué géneros son los más habituales o preferidos por la revista,

si es el caso Instrucciones específicas para los autores Instrucciones específicas para los evaluadores

En síntesis: promocionar un sistema de evaluación riguroso, transparente, explícito y bien fundamentado

Eventualmente: facilitar formularios de evaluación para los referees que fomente una revisión articulada


Evaluador

Familiarizarse con: Los géneros y modalidades antes de evaluar Las recomendaciones de la revista para evaluar

Hacer recomendaciones atómicasPresentar las recomendaciones enumeradas

(R1, R2, … Rn)


Autor

Informar de los cambios, en su caso, siguiendo el mapa de les recomendaciones: Qué se acepta y cómo se ha hecho la adaptación,

identificando siempre cada recomendación por su número (R1, R2, … Rn)

Qué no se acepta y porqué identificándolas también por su número


Evaluador - II

Revisar la correspondencia del mapa de recomendaciones/adaptaciones: ¿todas las recomendaciones R1,… Rn han recibido respuesta?

Ser consistente: no ignorar sus propias recomendaciones, pero no improvisar nuevos criterios, salvo situación imperiosa


Tercera Parte

Propuestas éticas


Evaluador

Declinar si no se es un experto en el tema central del artículo (remember: “peer review”)

Advertir a la publicación de cualquier limitación que pudiera tener en la evaluación (p.e. aspectos muy especializados, tratamiento de datos, etc.)

No mantener en el mismo nivel de recomendación opiniones y certezas; o distinguir entre la fortaleza de las recomendaciones

Mantener el anonimato, si así se ha establecidoInformar a la revista si hay conflicto de interesesNo apropiarse de ideas de los autores


Autor

Aceptar la necesidad de un nuevo ciclo de trabajo, si las evaluaciones lo demuestran

Pero, no aceptar los cambios en los que no crea si los puede defender de forma científica o racional

Ser transparente en todo el procesoNo citar sin utilizarNo utilizar sin citar


Publicación

Asegurarse de hacer llegar las instrucciones y guías de revisión a los evaluadores

Aplicar de forma rigurosa los principios de la modalidad de peer review a la que se haya adherido la publicación

No adoptar un papel pasivo: No aceptar evaluaciones difamatorias o contrarias a la ética

científica (p.e. argumentos ad homine, etc.) Atender las reclamaciones fundadas de autores por

irregularidades de la evaluación Atender declaraciones de conflicto de intereses por parte de

autores y evaluadores y especificar tales posibilidades en las instrucciones

Advertir sin ambigüedad a los autores cuando el proceso ha finalizado

Respetar el carácter confidencial de todo el proceso si así se ha establecido


Algunos temas (todavía) abiertos

Sistema de evaluación: ¿debe ser «doble ciego»?Proceso pre-print: ¿pueden hacerse públicas las

observaciones de los evaluadores y las respuestas de los autores?

Versión en línea: ¿pueden contemplarse versiones de artículos con edición impresa y en línea diferentes?

Innovación: ¿hay espacio para la innovación sin recurrir a la edición en línea?

Futuro: ¿tendrán sentido las publicaciones impresas a medio plazo?


Fuentes

COPEwww.publicationethics.org/

Current Practice in Peer Reviewwww.alpsp.org/ngen_public/article.asp?id=200&did=47&aid=354&st=&oaid=-1

Nature Formatting Guidehttp://www.nature.com/nature/authors/gta/

Nature Peer Review Policyhttp://www.nature.com/authors/policies/peer_review.html

Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practicehttp://onlinelibrary.wiley.com/book/10.1002/9780470750803

Peer Review at Science Publicationshttp://www.sciencemag.org/site/feature/contribinfo/review.xhtml

Peer Review: a Guide for Researcherswww.rin.ac.uk/peer-review-guide

Peer review: a report to the Advisory Board for the Researchwww.mrc.ac.uk/Utilities/Documentrecord/index.htm?d=MRC003951

Peer review: the challenges for the humanities and the social scienceswww.britac.ac.uk/reports/peer-review/

Research Information Networkhttp://www.rin.ac.uk/

Science's Instructions for Reviewershttp://www.sciencemag.org/site/feature/contribinfo/refinstr.xhtml


Más información

Mapa conceptual y recursos sobre Ciencia 2.0tinyurl.com/cienciamapa

Otros diagramas y mapas conceptuales del autorwww.lluiscodina.com/diagramas.htm


Lluís Codina (UPF) Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona,...

Documents

Transcript of Lluís Codina (UPF) Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona,...