Post on 22-Mar-2020
Metaanálisis en Red
Aurelio Tobíasaurelio.tobias@gmail.com
Objetivo
• Conocer los fundamentos y principales aspectos metodológicos del metaanálisis en red con comparaciones directas, indirectas y mixtas
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Necesidad de evidencia
• Decisiones de atención de salud debe basarse en la mejor evidencia (MBE) disponible a partir de revisiones sistemáticas y metaanálisis
• Ensayos con placebo son suficiente para la aprobación de nuevos tratamientos, pero … de uso limitado para decidir cual es el mejor tratamiento
• Comparaciones directas entre tratamientos alternativos suele ser limitada o inexistente
http://bestpractice.bmj.com/best-practice/evidence/0312.html
ModerateLowVery low
Creciente interés
Number of systematic reviews with at least three interventions that derived at least one indirect or mixed estimate – search PubMed until January 2011 (Salanti et al. 2012)
… 2017
567
2013
145
¿Nuevo paradigma?Ca
lidad
de
la e
vide
ncia
Revisión sistemática y metaanálisis
Ensayo clínico aleatorizado
Estudios de cohortes
Estudios transversales
Series de casos
Mayor
Menor
¿Revisión sistemática y metaanálisis en red?
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Metaanálisis
• Análisis de resultados obtenidos en estudios individuales con la finalidad de integrarlo (Glass 1976)
• Consiste en calcular un efecto promedio
• A partir de ahora lo definimos como comparación directa
• Objetivosa) Aumentar el poder y la
precisiónb) Evaluar la consistencia de
los resultadosc) Responder preguntas que
no se plantean en los estudios individuales
Metaanálisis
• Todos los estudios incluidos en el metaanálisis ha de responder a la misma pregunta de investigación
• Sólo combinar medidas del efecto del mismo tipo de diseño de investigación
• Misma medida del efecto y de variabilidad en todos los estudios (datos secundarios/primarios resumidos)
• Técnicas de metaanálisis sólo permiten combinarmedidas del efecto aditivas (en escala simétrica)
• Se pueden utilizar otras medidas descriptivas (prevalencia o incidencia) o de efecto (correlación)
Modelos para metaanálisis
A favor del tratamiento
A favor del control
Efectos Fijos
yi = qyi
Modelos para metaanálisis
A favor del tratamiento
A favor del control
(ei)
Efectos Fijos
yi = q + ei
ei ~ N(0, si2)
Efectos aleatorios
yi yi = µ + ei + di
di~N(0, t2) ei~N(0, si
2)
Distribución aleatoria de los efectos
(ei)
t2
A favor del tratamiento
A favor del control
yi
Modelos para metaanálisis
• Efectos Fijos– Asume homogeneidad de
efectosH0: y1 = y2 = … = yk
• Estimador combinado
– Pesos wi = 1/si2
– Método del inverso de la varianza (Cochran 1937)
• Efectos Aleatorios– Asume que las medidas del
efecto se distribuyen aleatória-mente con media y varianza fijas
• Estimador combinado
– Pesos wi* = 1/(si
2+t2)– Método de DerSimonian y Laird
(1986)
θ̂= wiyi∑ / wi∑
con$sθ̂
2 =1 / wi∑
µ̂ = wi*yi∑ / wi
*∑
con$sµ̂
2 =1 / wi*∑
Modelos para metaanálisis
• Efectos fijos– Asume que todos los estudios
comparten un mismo efecto del tratamiento
– Metaanálisis permite estimar este efecto
• Ventajas– Sencillo de entender y fácil de
calcular
• Limitación– Asumir homogeneidad de
efectos
• Efectos aleatorios– El efecto del tratamiento en
cada estudio está distribuido aleatoriamente
– Metaanálisis estima el promedio de dichos efectos
• Ventajas– Considera todas la variabi-
lidad, intra- y entre- estudios
• Limitación– No explica las diferencias
entre- estudios
Heterogeneidad
• Prueba de heterogeneidad
H0: y1 = y2 = … = yk
– Problema de potencia estadística. Baja con pocos estudios y demasiada con muchos estudios
• Índice de heterogeneidad
con I2=0 si I2<0
– Proporción de la variabilidad total explicada por la heterogeneidad
– Valores de I2 de 25%, 50% y 75% pueden considerarse como heterogeneidad baja, moderada, alta y muy alta
!!!!
€
Q = wi yi −⌢ θ ( )
2
∑ ~ χk−12 !!
€
I2 =Q −(k −1)
Q×100%
Ejemplo
Ejemplo
• Comprar el efecto de distintos tratamientos, a partir de estudios que comparan los distintos tratamientos con un comparador común
• Si sabemos cuanto más grande son B respecto A, y C respecto a A ¿cuanto más grande es C respecto B?
Comparaciones indirectas
B CAB-A
C-A
C-B = (C-A) – (B-A)
Método de Bucher
• Con medidas del efecto absolutas (D, DR)qC vs. B = qC vs. A – qB vs. A
con, s2qC vs. B
= s2qC vs. A
+ s2qB vs. A
luego, IC 95% = qC vs. B� 1.96�√s2qC vs. B
• Con medidas del efecto relativas (RR, OR)log(qC vs. B) = log(qC vs. A) – log(qB vs. A)
con, s2log(qC vs. B) = s2
log(qC vs. A) + s2log(qB vs. A)
luego, IC 95% = log(qC vs. B) � 1.96�√s2log(qC vs. B)
Ejemplo
• ¿C vs. B?log(ORC vs. B) = log(4.14) – log(1.42) =
= 1.42 – 0.35 = 1.07ORC vs. B = exp(1.07) = 2.92
• ¿B vs. C?log(ORB vs. C) = log(1.42) – log(4.14) =
= 0.35 – 1.42 = -1.07ORB vs. C = exp(-1.07) = 0.34
Ejemplo con Excel
• Calculadora Excel para comparaciones indirectashttp://metaanalisisenred.weebly.com/excel.html
(Tobías & Catalá-López 2014)
¿Cuando son necesarias?
• Cuando no hay estudios con una comparación directa entre tratamientos
• Cuando si hay estudios que comparan de forma directa los tratamientos, pero éstos son muy pocos y/o de baja calidad
Laws A, Kendall R, Hawkins N. A comparison of national guidelines for network meta-analysis. Value Health. 2014;17:642-654.
• Asunción subyacente es que podemos comparar B vs. C a través de un comparador común A
Asunción para comparaciones indirectas
Las comparaciones directas (B vs. A y C vs. A) deben ser epidemiológicamente y clínicamente similares para permitir transitividadB C
A
1. El comparador común A debe ser definido de manera similarcuando aparece en comparaciones directas B vs. A y C vs. A– Aunque a veces se puede permitir cierta flexibilidad– La transitividad no se cumplirá cuando el comparador común A sea
diferente en comparaciones directas B vs. A y C vs. A
Condiciones para transitividad
B C
A
B C
A A
?B C
A A
1. El comparador común A debe ser definido de manera similarcuando aparece en comparaciones directas B vs. A y C vs. A –Transitividad• En los ensayos B vs. A que no tienen brazo C, y en los ensayos C vs. A
que no tienen tratamiento B, estos brazos ausentes se supone que son al azar
• Los pacientes incluidos en las comparaciones directas C vs. A y B vs. A podrían ser asignados al azar a cualquiera de los tratamientos (A, B y C)
2. Los ensayos con comparaciones directas B vs. A y C vs. A no difieren con respecto a la distribución de posibles variables modificadoras del efecto – Similitud
Condiciones para transitividad
Comparaciones mixtas• Otra situación habitual es tener alguna evidencia directa
sobre la comparación directa entre los tratamientos de interés (C vs. B)
• Las comparaciones mixtas, combinando evidencia directa e indirecta, permiten incrementar la precisión de las estimaciones
Tratamiento APlacebo Tratamiento B
Evidencia indirecta
Evidencia directa
Ejemplo
Método de Bucher
• Con medidas del efecto absolutas (D, DR)qdir�wdir + qind�wind
wdir + wind
Pesos w = 1/s2q
y con s2qm = 1/(wdir + wind)
• Con medidas del efecto relativas (RR, OR)log(qdir)�wdir + log(qind)�wind
wdir + wind
Pesos w = 1/s2log(q)
y con s2log(qm) = 1/(wdir + wind)
qm =
log(qm) =
Más asunciones …
• Además de transitividad hay que asumir que la evidencia directa e indirecta son estimaciones de un mismo parámetro (efecto) ⇒ consistencia
• Factor de inconsistencia– FI = |θdir − θind|– Puede complementare junto con su intervalo de confianza
y/o evaluarse estadísticamente con un z-test
Ejemplo con Excel
• Calculadora Excel para comparaciones mixtashttp://metaanalisisenred.weebly.com/excel.html
(Tobías & Catalá-López 2014)
Ejemplo OR (95% CI)
B-A dir 1.42 (0.55 , 3.58)C-A dir 4.14 (2.58 , 6.63)
C-B ind 2.91 (1.46 , 5.87)dir 2.95 (1.81 , 4.80)mxt 2.94 (1.97 , 4.38)
OR (95% CI)A-B dir 0.70 (0.28 , 1.82)C-B dir 2.95 (1.81 , 4.80)
C-A ind 4.21 (1.47 , 12.08)dir 4.14 (2.58 , 6.63)mxt 4.15 (2.70 , 6.39)
OR (95% CI)A-C dir 0.24 (0.15 , 0.39)B-C dir 0.34 (0.21 , 0.55)
B-A ind 1.42 (0.72 , 2.79)dir 1.42 (0.55 , 3.58)mxt 1.42 (0.78 , 5.58)
Metaanálisis en red
• Metaanálisis en red aprovecha toda la informacióndisponible, combinando comparaciones directas e indirectas
• Proporciona estimaciones más precisas para la comparación entre dos tratamientos
Limitaciones• No permite analizar adecuadamente estudios con
más de dos brazos, hay que asumir comparaciones independientes
• Metaanálisis separados para cada comparación
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Metaanálisis como modelo lineal
• Efectos fijosyi = q + ei
ei~N(0, si2)
• Efectos aleatoriosyi = µ + di + ei
di~N(0, t2)ei~N(0, si
2)
yi
q
yi
µ
Metaregresión
• Metaanálisis como modelo de regresión lineal ponderado con efectos aleatorios
yi = µ + bxi + di + ei
di~N(0, t2)ei~N(0, vi)
con variable explicativa (x) que identifica– Características del diseño de los estudios– Características de las poblaciones de los estudios
µ
yi
xi
b
Metaregresión para MA en red
• Algoritmo de codificación de efectosa) Definir el tratamiento comparador común (A)b) Crear variables de codificación de efectos cada
tratamiento distinto de A (k=B, C, …)• Xk = +1 si el tratamiento k no es el de comparación en el estudio• Xk = −1 si el tratamiento k si es el de comparación en el estudio• Xk = −0 en otro caso
c) Omitir el término constante en la metaregresión• Variables de codificación de efectos serán la
comparación de cada tratamiento vs. A
Comparaciones mixtas y MA en red
• Codificación alternativa para metaanálisis en redyi = µ1xi1 + µ2xi2
yB-A = µ1
yC-A = µ2 µ2–µ1 = yC-B
!!
€
yB−AyC−AyC−B
#
$
% % %
&
'
( ( (
=
10−1
011
#
$
% % %
&
'
( ( (
µ1
µ2
#
$ %
&
' (
Comparacionesdirectas
Comparaciónmixta
Parámetrosbásicos
Parámetrofuncionalµ2–µ1 = yC-B
. use ejemplo , clear
. foreach T in B C {2. generate `T' = 03. replace `T' = +1 if trt1 == "`T'"4. replace `T' = -1 if trt2 == "`T'"5. }
. list id design C B, sepby(design) noobs
+----------------------+| id design C B ||----------------------|| 1 B-A 0 1 || 2 B-A 0 1 || 3 B-A 0 1 ||----------------------|| 3 C-A 1 0 || 4 C-A 1 0 || 5 C-A 1 0 ||----------------------|| 3 C-B 1 -1 || 6 C-B 1 -1 |+----------------------+
. metareg y C B , wsse(se) nocons mm z eform
Meta-regression Number of obs = 8Method of moments estimate of between-study variance tau2 = 0% residual variation due to heterogeneity I-squared_res = 0.00%------------------------------------------------------------------------------
y | exp(b) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------
C | 4.153739 .827999 7.14 0.000 2.810362 6.139263B | 1.415356 .2903205 1.69 0.090 .9468161 2.115757
------------------------------------------------------------------------------
. lincom C - B , eform------------------------------------------------------------------------------
y | exp(b) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------
(1) | 2.934767 .595358 5.31 0.000 1.971948 4.367688------------------------------------------------------------------------------
Limitaciones
• No permite analizar adecuadamente estudios con más de dos brazos, hay que asumir comparaciones independientes
• Modelos que asumen consistencia y la misma variabilidad entre- estudios t2 para cada comparación
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Metaanálisis multivariante
• Estudios incluidos en revisión sistemática pueden estar interesados en diversas variables de respuesta – Pruebas diagnósticas (sensibilidad y especificidad)– Economía de la salud (medidas de coste y efectividad)– Ensayos clínicos (dosis-respuesta, o más de 2 brazos)
• Metaanálisis multivariante permite una síntesis conjunta de múltiples resultados, que con variables explicativas se extiende a metaregresión multivariante
• Metaanálisis univariante (clásico)
• Metaanálisis multivariante
!!
€
yi = yi1( )
!!
€
Si = var yi1( ) = si12( )
!!
€
yi =yi1yi2
"
# $
%
& '
Si = varyi1yi2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟=
si12 si12
si12 si22
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟
Metaanálisis multivariante
• Metaanálisis univariante (clásico)
• Metaanálisis multivariante
Si = varyi1yi2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟=
si12 ρwisi1si2
ρwisi1si2 si22
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟
!!
€
yi = yi1( )
!!
€
Si = var yi1( ) = si12( )
!!
€
yi =yi1yi2
"
# $
%
& '
Metaanálisis multivariante
Correlación intra-estudio
• Nunca (o raramente) aparece en publicaciones, su estimación requiere de datos individuales
• La covarianza entre dos estimaciones en un estudio de múltiples brazos es la varianza de los datos en el comparador común (A)
• Respuesta binaria– DR, cov = ab/(a+b)3
– log(RR), cov = (1/a)-(1/(a+b))– log(OR), cov = (1/a) + (1/b)
• Respuesta continua– D, cov = sA
2/nA
– d, cov = 1/nA
• Metaanálisis univariante (clásico)
• Metaanálisis multivariate
Si = varyi1yi2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟=
si12 s12s12 si2
2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟+
τ12 τ12τ12 τ2
2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟
!!
€
Si = var yi1( ) = si12( ) + τ1
2( )!!
€
yi = yi1( )
!!
€
yi =yi1yi2
"
# $
%
& '
Metaanálisis multivariante
• Metaanálisis univariante (clásico)
• Metaanálisis multivariate
Si = varyi1yi2
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟=
si12 ρwisi1si2
ρwisi1si2 si22
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟+
τ12 ρBτ1τ2
ρBτ1τ2 τ22
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟
!!
€
Si = var yi1( ) = si12( ) + τ1
2( )!!
€
yi = yi1( )
!!
€
yi =yi1yi2
"
# $
%
& '
Metaanálisis multivariante
Correlación entre-estudios
• La covarianza entre dos efectos aleatorios es una combinación de sus heterogeneidades
• En estudio de múltiples brazos con comparador común A, podemos yB-C = yC-A – yB-ACon t2
B-C = t2B-A + t2
C-A – 2cov(tC-A, tC-A) luego, cov(tB-A, tC-A) = (t2
B-A+t2C-A–t2
B-C )/2• Cuando hay un único estudio en algunas de las
comparaciones, asumir misma heterogeneidadcov(tC-A, tB-A) = (t2+t2–t2)/2 = t2/2
. use examplenma, clear
. network setup d n , studyvar(id) trtvar(trt) ref(A) or
. network meta consistency , eform bscovariance(unstruc) Multivariate meta-analysisVariance-covariance matrix = unstructuredMethod = reml Number of dimensions = 2Restricted log likelihood = -6.785767 Number of observations = 6------------------------------------------------------------------------------
| exp(Coef) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------Overall_mean |
_y_B | 1.443464 .3217844 1.65 0.100 .9325063 2.234396_y_C | 4.237956 .9080151 6.74 0.000 2.784709 6.449603
------------------------------------------------------------------------------
Estimated between-studies SDs and correlation matrix:SD _y_B _y_C
_y_B 3.898e-10 1 ._y_C 1.873e-10 .99582581 1
. lincom _y_C - _y_B , eform
------------------------------------------------------------------------------| exp(b) Std. Err. z P>|z| [95% Conf. Interval]
-------------+----------------------------------------------------------------(1) | 2.935962 .6408768 4.93 0.000 1.914017 4.503551
------------------------------------------------------------------------------
Modelo interacción ciclo-diseño
(Higgins et al. 2012)
Modelo de y AdesLu
. network meta inconsistency , bscovariance(unstruc) Multivariate meta-analysisVariance-covariance matrix = unstructuredMethod = reml Number of dimensions = 2Restricted log likelihood = -6.151355 Number of observations = 6------------------------------------------------------------------------------
| Coef. Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------_y_B |
des_AB | .1911016 .5185159 0.37 0.712 -.8251709 1.207374_cons | .2383801 .3995358 0.60 0.551 -.5446956 1.021456
-------------+----------------------------------------------------------------_y_C |
des_AC | .2038221 .4895833 0.42 0.677 -.7557435 1.163388des_BC | .0377129 .4985892 0.08 0.940 -.9395039 1.01493_cons | 1.299267 .3768151 3.45 0.001 .5607225 2.037811
------------------------------------------------------------------------------
Estimated between-studies SDs and correlation matrix:SD _y_B _y_C
_y_B 2.538e-13 1 ._y_C 1.271e-09 -.31793799 1
Testing for inconsistency:( 1) [_y_B]des_ABC = 0( 2) [_y_C]des_AC = 0( 3) [_y_C]des_BC = 0
chi2( 3) = 0.24Prob > chi2 = 0.9710
Ejemplo
OR (95% CI)B-A dir 1.42 (0.55, 3.58)
mxt 1.42 (0.78, 5.58)mva 1.44 (0.93, 2.23)
C-A dir 4.14 (2.58, 6.63)mxt 4.15 (2.70, 6.39)mva 4.24 (2.78, 6.45)
C-B dir 2.95 (1.81, 4.80)mxt 2.94 (1.97, 4.38)mva 2.94 (1.91, 4.50)
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Ranking de tratamientos
• Necesidad de determinar cual es el mejor tratamiento (?)
• Establecer una clasificación de los tratamientos a través de simulación (método de Monte Carlo)
• Clasificación ordenada de los tratamientos estimando la probabilidad de que cada tratamiento sea el mejor
• Utiliza en efecto de cada tratamiento respecto el comparador común, del modelo de red completo
Simulación
• Aproximación frecuentista por remuestroi) Establecer distribución a posteriori para el efecto de
cada tratamientoii) Simular un número grande de muestras aleatorias
(n=1,000)iii) Evaluar cual es el tratamiento con mejor efecto en
cada muestraiv) Contar cuantas veces un tratamiento ocupa el 1er
lugar entre todas las muestras simuladas
Rankograma
• Muestra gráficamente la probabilidad posterior de que cada tratamiento tenga el rango 1 (el mejor), ≤2, ≤3, etc.
• Permite acumular las probabilidades posteriores de cada tratamiento hasta 100%
Índice SUCRA
• Clasificación basada en probabilidades debe ser interpretada con precaución (!)
• Clasificación basada en SUCRA considera mejor la incertidumbre en efectos estimados del tratamiento
• SUrface under the Cumulative RAnking curveSUCRAj = Spij/(T-1)– La clasificación obtenida está condicionada al conjunto de
tratamientos que se comparan– La clasificación puede cambiar si se compara un
subconjunto de los tratamientos
Ejemplo
• Calculadora Excel para ranking de tratamientoshttp://metaanalisisenred.weebly.com/excel.html
Ejemplo
• Calculadora Excel para ranking de tratamientoshttp://metaanalisisenred.weebly.com/excel.html
(Tobías y Catalá-López 2018)
Ejemplo
Consideraciones
• El ranking no es un sustituto del efecto relativo del tratamiento, no puede interpretarse clínicamente
• Distintas variables de resultado pueden producir distintas clasificaciones
• ¿Es esta la forma correcta de elegir un tratamiento?– La teoría de la decisión sugiere elegir el tratamiento que
maximiza la utilidad esperada– El mejor mejor tratamiento dependerá del riesgo basal en
el grupo de referencia
Contenidos
• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA
Elementos básicos de un NMA
PRISMA-NMA
PRISMA-NMA
(Hutton et al. 2015)
Geometría de la red
(Catalá-López & Tobías 2013)(Hutton et al. 2015)
Asunciones NMA
(Hutton et al. 2015)
Reportar resultados
(Hutton et al. 2015)
Ranking de tratamientos
(Hutton et al. 2015)
Ítems básicos NMA
ü Red de tratamientosü Resultados
– Estudios individuales– Comparaciones directas con heterogeneidad– Comparaciones network
ü Ranking de tratamientos– Rankograma con SUCRA
ü Asunciones– Transitividad y similitud– Consistencia
Evaluar aplicabilidad
• ¿Cuál es la calidad de la evidencia global?• ¿Se discuten las limitaciones del metanálisis en red?• ¿Hay una descripción de los conflictos de interés y/o
financiación?• ¿Se pueden aplicar los resultados a la toma de
decisiones?• ¿Cuáles serían las consecuencias para la toma de
decisiones en la práctica clínica?
Resumen
• Comparaciones indirectas son una herramienta útil en ausencia de comparaciones directas entre múltiples tratamientos que compiten entre sí
• Metaanálisis en red combina comparaciones directas e indirectas, proporcionando estimaciones más precisas
• Validez cuando estén disponibles estudios que satisfacen los supuestos de transitividad y consistencia
Colaboración Cochrane
Plantilla de protocolo NMA
Bibliografía adicional
• Dias et al. Network meta-analysis for decision making. Wiley, 2018
Instituto de Diagnóstico Ambiental y Estudios del Agua
IDAEA – CSICC/ Jordi Girona 18–2608034 Barcelona
Tel. 93 400 61 00Fax 93 204 59 04
aurelio.tobias@idaea.csic.eshttp://www.idaea.csic.es/
Técnicas Estadísticas para Metaanálisis en http://www.metaanalisis.weebly.com/
Comparaciones Indirectas y Metaanálisis en Reden http://www.metaanalisisenred.weebly.com/