Sesgo de publicación en ciencias médicas

Borja Santos Zorrozúa1,2,3, Eduardo González Fraile4,, Javier Ballesteros Rodríguez2,4

1 Universidad del País Vasco (UPV/EHU), 2 Cibersam (G16), 3 Programa PREDOC Gobierno Vasco, 4 Instituto de Investigaciones Psiquiátricas

1. Introducción

SESGO DE PUBLICACIÓN

Causas e implicaciones

Principales causas:

-Intereses del investigador o organismo que promueve el estudio-Desestimación de la relevancia de resultados- Medios editoriales

Implicaciones:

- cuantificación irreal del verdadero efecto de un tratamiento.

Agomelatina

2. Objetivos• Comparación de resultados aportados por las

distintas librerías

Publicados + No

publicados

Publicados

SelectMeta

Copas

Samurai

Trim & Fill

Literatura Literatura + R Realidad

Fail safe N

> 3.Material y métodos> Material# Ensayos clínicos aleatorizados que estudian la

# efectividad de la agomelatina como tratamiento # contra la depresión.

# i) 6 ensayos publicados# ii) 6 ensayos no publicados> Métodos# Metaanálisis con los estudios publicados y no #

publicados.# i) Metaanálisis con los estudios publicados# ii)Metaanálisis con las librerías que tienen en #

cuenta el sesgo de publicación# iii) Estudio del sesgo de los estimadores del

# efecto en comparación con el obtenido en el # primer punto

> # Metaanálisis publicados

> library(metafor)> forest(meta_pub, pooled.totals=TRUE, + smlab="Hedges' g", col.i="blue", + col.square="blue", col.diamond="red")

> funnel(meta_general)

> # Metaanálisis publicados y # no publicados> library(metafor)> forest(meta_general, pooled.totals=TRUE, > smlab="Hedges' g", col.i="blue", > col.square="blue", col.diamond="red")

> funnel(meta_general)

# Fail safe N> library(metafor)

> # Numero necesario de estudios según Rosenthal > fsn_ros <- fsn(datos_pub$g, datos_pub$SEg) > print(fsn_ros) Fail-safe N Calculation Using the Rosenthal Approach Observed Significance Level: 0.0442 Target Significance Level: 0.05 Fail-safe N: 1

> # Numero necesario de estudios según Orwin > fsn_or <- fsn(datos_pub$g, datos_pub$SEg,type="Orwin") > print(fsn_or) Fail-safe N Calculation Using the Orwin Approach Average Effect Size: -0.2698 Target Effect Size: -0.1349 Fail-safe N: 5

> # Numero necesario de estudios según Rosenberg > fsn_rosen <- fsn(datos_pub$g, datos_pub$SEg,type="Rosenberg")> print(fsn_rosen) Fail-safe N Calculation Using the Rosenberg Approach Average Effect Size: -0.2629 Observed Significance Level: 0.0922 Target Significance Level: 0.05 Fail-safe N: 0

1

2

1

k

ii

k

ii

zZ

k N

zN k

Z

O C

esFSC

k d dN

d d

21

2 1

1

k

i i ki

i kin ii

w nWW w N

t w

# Trim & Fill> library(metafor)> forest(meta_trim, pooled.totals=TRUE, + smlab="Hedges’g", col.i="blue", + col.square="blue", col.diamond="red")

> funnel(meta_general)

# Modelo de selección> library(selecMeta)> select1 <- DearBegg(datos_pub$g,datos_pub$SEg)> attributes(select1)$names[1] "w" "theta" "sigma" "p" "y" "u" "loglik“> select1$theta[1] -0.177301> DearBeggMonotoneCItheta(select1) [1] "Now computing confidence interval. May take a moment (up to a few minutes)." $ci.theta [1] -0.3390506 -0.0310255> select2 <- DearBeggMonotone(datos_pub$g,datos_pub$SEg)> attributes(select2)$names[1] "w" "theta" "sigma" "p" "y" [6] "u" "loglik" "DEoptim.res“> select2$theta[1] -0.163183> DearBeggMonotoneCItheta(select2) [1] "Now computing confidence interval. May take a moment (up to a few minutes)." $ci.theta [1] -0.34414622 -0.02889256

# Modelo de Copas> library(copas)> meta_copas <- copas(meta_pub)> meta_copas

> plot(meta_copas)

Summary of Copas selection model analysis:

publprob SMD 95%-CI pval.treat pval.rsb N.unpubl 1.00 -0.2561 [-0.3626; -0.1496] < 0.0001 0.1384 0 0.55 -0.1941 [-0.3362; -0.0520] 0.0074 0.1765 3 0.29 -0.0936 [-0.3155; 0.1284] 0.4086 0.0809 9 0.17 0.0541 [-0.1678; 0.2760] 0.6328 0.7968 18 0.09 0.1755 [-0.0464; 0.3974] 0.1212 0.8126 37 0.04 0.3624 [ 0.1405; 0.5844] 0.0014 0.3194 86 0.02 0.3575 [-0.2091; 0.9242] 0.2162 0.1217 204 0.01 0.4389 [-0.2878; 1.1655] 0.2365 0.1198 707 0.00 0.5172 [-0.4021; 1.4364] 0.2702 0.6741 4066 0.00 0.5882 [-0.4852; 1.6616] 0.2828 0.6719 39960 0.00 0.6906 [-0.5599; 1.9410] 0.2791 1 5062707 0.00 0.6912 [-0.5602; 1.9425] 0.279 0.8138 5242379 Copas model (adj) -0.2561 [-0.3626; -0.1496] < 0.0001 0.1384 0 Random effects model -0.2566 [-0.3648; -0.1483] < 0.0001

Significance level for test of residual selection bias: 0.1

# Método SAMURAI

> funnelplot(table = datos_samurai, + binary = FALSE, higher.is.better = FALSE, + mean.sd = TRUE, outlook = "no effect", + title = "Funnel plot")

> library(SAMURAI)> metaanalisis_samurai <- forestsens(table = datos_samurai, + binary = FALSE, mean.sd = TRUE, outlook = "no effect", + plot.title = "Metaanálisis del efecto de agomelatina")

> 4.Resultados> meta_total <- c(round(meta_general$TE.random,2),round(meta_general$seTE.random,2),"-")> meta_psiquiatra <- c(round(meta_pub$TE.random,2),round(meta_pub$seTE.random,2),+ round(((-0.24--0.26)/-0.24)*100,2))> fsn_Rosenthal <- c("-","-","-",fsn_ros$fsnum)> fsn_Orwin <- c("-","-","-",fsn_or$fsnum)> fsn_Rosenberg <- c("-","-","-",fsn_rosen$fsnum)> meta_trimFill <- c(round(meta_trim$TE.random,2),round(meta_trim$seTE.random,2),+ round(((-0.24--0.21)/-0.24)*100,2))> meta_Copas <- c(-0.19,"-",round(((-0.24--0.19)/-0.24)*100,2))> meta_DearBegg1 <- c(round(DearBegg1$theta,2),"-",round(((-0.24--0.18)/-0.24)*100,2),"-")> meta_DearBegg2 <- c(round(DearBegg2$theta,2),"-",round(((-0.24--0.16)/-0.24)*100,2),"-")> meta_Samurai <- c(-0.12,"-",round(((-0.24--0.12)/-0.24)*100,2))> resultados <- rbind(meta_total,meta_psiquiatra,meta_trimFill,meta_Copas,meta_Samurai)> colnames(resultados) <- c("Estimador efecto","Error estandar","Sesgo estimador (%)")> resultados <- as.data.frame(resultados)> resultados Estimador efecto Error estandar Sesgo estimador (%) Estudios no publicadosmeta_total -0.24 0.06 - -meta_psiquiatra -0.26 0.06 -8.33 -fsn_Rosenthal - - - 1fsn_Orwin - - - 5fsn_Rosenberg - - - 0meta_trimFill -0.21 0.05 12.5 -meta_DearBegg1 -0.18 - 25 -meta_DearBegg2 -0.16 - 33.33 -meta_Copas -0.19 - 20.83 3meta_Samurai -0.12 - 50 -

Tamaño del efecto real(en general desconocido)

Sobreestimación del efecto debido al sesgo de publicación

Estimaciones (mejores o perores) del tamaño del efecto

asumiendo sesgo de publicación

> 5.Conclusiones> i[1] "El sesgo de publicación interfiere en la estimación del tamaño del efecto."> ii[1] "Debido a que los estudios no significativos no sean publicados, el estimador está en realidad sobrestimando la eficacia."> iii[1] "La existencia de paquetes que nos permitan corregir el estimador del efecto son necesarias. De este modo podremos estimar de una manera más realista la verdadera eficacia del tratamiento."> iv[1] "En el caso en el que el número de estudios sea limitado, hay que tener cautela puesto que como la mayoría de métodos estadísticos, el funcionamiento es mayor cuando mayor sea la información disponible."

> 6.Bibliografía> citation() R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL http://www.R-project.org/.> citation("meta") Guido Schwarzer (2013). meta: Meta-Analysis with R. R package version 3.0-1. http://CRAN.R-project.org/package=meta> citation("metafor") Wolfgang Viechtbauer (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48. URL http://www.jstatsoft.org/v36/i03/.> citation("copas") James Carpenter and Guido Schwarzer (2013). copas: Statistical methods to model and adjust for bias in meta-analysis. R package version 0.7-0. http://CRAN.R-project.org/package=copas> citation("SAMURAI") Noory Y. Kim. Advisors: Shrikant I. Bangdiwala and Gerald Gartlehner. (2013). SAMURAI: Sensitivity Analysis of a Meta-analysis with Unpublished but Registered Analytical Investigations. R package version 1.2.1. http://CRAN.R-project.org/package=SAMURAI> citation("selectMeta") Kaspar Rufibach (2013). selectMeta: Estimation of weight functions in meta analysis. R package version 1.0.5. http://CRAN.R-project.org/package=selectMeta