Meta-análisis ¿Para qué sirve? ¿Qué es? ¿Cómo se regula...
Transcript of Meta-análisis ¿Para qué sirve? ¿Qué es? ¿Cómo se regula...
1
20072007 [email protected]@uab.es 11
MetaMeta--ananáálisislisis
20072007 [email protected]@uab.es 22
Preguntas bPreguntas báásicassicas
•• ¿¿QuQuéé es?es?•• ¿¿Para quPara quéé sirve?sirve?•• ¿¿CCóómo se regula?mo se regula?•• ¿¿CCóómo se hace?mo se hace?•• ¿¿QuQuéé mméétodos?todos?•• ¿¿CuCuáándo?ndo?
20072007 [email protected]@uab.es 33
INDICEINDICE
1. Definici1. Definicióónn2. Objetivos 2. Objetivos 3. Antecedentes hist3. Antecedentes históóricosricos4. Protocolo y desarrollo de un meta4. Protocolo y desarrollo de un meta--
ananáálisislisis5. Estimadores del tama5. Estimadores del tamañño del efectoo del efecto6. Ejemplo de meta6. Ejemplo de meta--ananáálisislisis
20072007 [email protected]@uab.es 44
DefiniciDefinicióónnEl metaEl meta--ananáálisis es unalisis es una revisirevisióón sistemn sistemááticatica de un de un gran ngran núúmeromero de estudiosde estudios queque utilizautiliza mméétodos todos estadestadíísticossticos parapara combinar, sintetizar e integrarcombinar, sintetizar e integrarla informacila informacióón de variosn de varios estudios independientesestudios independientesque son considerados por el que son considerados por el ananáálistalista como como ““combinablescombinables””
Adaptado de:Adaptado de:- Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8.- Huque MF. Experiences with meta-analysis in NDA submissions. Proc
Biopharmaceutical Section of the American Statistical Association 1988;28-33.- Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic
reviews of randomized control trials in health care from the Potsdamconsultation meta-analysis. J Clin Epidemiol 1995;48:168-71.
- D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616.
20072007 [email protected]@uab.es 55
Objetivos (1)Objetivos (1)El metaEl meta--ananáálisis, cuando se realiza de forma lisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes adecuada, puede ser utilizado para los siguientes proppropóósitos:sitos:
•• Incrementar la potencia estadIncrementar la potencia estadíística de los stica de los resultados procedentes de mresultados procedentes de múúltiples estudios ltiples estudios individuales y posibilitar el anindividuales y posibilitar el anáálisis estadlisis estadíístico stico de subgruposde subgrupos
•• Mejorar las estimaciones de la magnitud Mejorar las estimaciones de la magnitud del efectodel efecto
•• Resolver controversias cuando hay desacuerdo Resolver controversias cuando hay desacuerdo entre los estudiosentre los estudios.
20072007 [email protected]@uab.es 66
Objetivos (2)Objetivos (2)•• Contestar nuevas preguntas que no se habContestar nuevas preguntas que no se habíían an
planteado en los estudios individualesplanteado en los estudios individuales•• Confirmar hipConfirmar hipóótesis que no se habtesis que no se habíían podido an podido
confirmar en los estudios individualesconfirmar en los estudios individuales•• Elaborar nuevas hipElaborar nuevas hipóótesis que deben ser tesis que deben ser
contrastadas en futuros estudioscontrastadas en futuros estudios•• Abrir nuevos caminos de investigaciAbrir nuevos caminos de investigacióón o n o
redirigir la investigaciredirigir la investigacióón en curson en curso•• Presentar el perfil de eficacia y seguridad Presentar el perfil de eficacia y seguridad
de los fde los fáármacos.rmacos.
2
20072007 [email protected]@uab.es 77
Objetivos (3)Objetivos (3)
•• ObtenciObtencióón de estimadores o parn de estimadores o paráámetros para metros para estudios de estudios de farmacoeconomfarmacoeconomííaa, calidad de vida, , calidad de vida, etc.etc.
Adaptado de:Adaptado de:- Fleiss JL, Gross A. Meta-analysis in epidemiology, with special
reference to studies of association between exposure toenvironmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991; 127-139.
20072007 [email protected]@uab.es 88
OBJETIVOSOBJETIVOS
ConclusiConclusióón:n:–– Ganancia en precisiGanancia en precisióónn–– ComparaciComparacióón crn críítica de los resultadostica de los resultados–– Diferencias en magnitud o sentidoDiferencias en magnitud o sentido–– Posibilidad de generalizarPosibilidad de generalizar
20072007 [email protected]@uab.es 99
EVOLUCIEVOLUCIÓÓN DEL USO DEL MN DEL USO DEL MÉÉTODO METATODO META--ANALANALÍÍTICOTICO
Período de tiempo Total Ratio articulos/mes
1950-1959 1 0.008
1960-1969 8 0.067
1970-1979 18 0.150
1980-1984 73 1.217
1985-1989 333 5.550
1990-1992 (Junio) 245 5.833
1992 (Julio)-1995 1503 36.429
20072007 [email protected]@uab.es 1010
EVOLUCIEVOLUCIÓÓN DEL USO DEL MN DEL USO DEL MÉÉTODO METATODO META--ANALANALÍÍTICOTICO
Ratio articulos/mes
0,0005,000
10,00015,00020,00025,00030,00035,00040,000
1950-1959
1960-1969
1970-1979
1980-1984
1985-1989
1990-1992
(Junio)
1992(Julio)-1995
Ratio articulos/mes
20072007 [email protected]@uab.es 1111
CARACTERCARACTERÍÍSTICASSTICASAreasAreas de aplicacide aplicacióónn
Ciencias de la educaciCiencias de la educacióónnPsicologPsicologííaaBiologBiologííaaMedicinaMedicinaCiencias medioCiencias medio--ambientalesambientalesQuQuíímicamicaFFíísicasicaEconomEconomííaaEtc...Etc...
20072007 [email protected]@uab.es 1212
CARACTERCARACTERÍÍSTICASSTICASProblemas preliminaresProblemas preliminares–– SelecciSeleccióón de materialn de material
BibliografBibliografííaa–– BBúúsqueda informatizada (squeda informatizada (MedlineMedline, , ScienceScience CitacionCitacion IndexIndex, ...), ...)–– BBúúsqueda manual (Citas referenciadas, conferencias)squeda manual (Citas referenciadas, conferencias)–– Lenguas extranjerasLenguas extranjeras–– Estudios presentados a conferencias y congresosEstudios presentados a conferencias y congresos–– Calidad de los estudiosCalidad de los estudios
–– DiseDiseñños distintos (estudios de cohortes, casoos distintos (estudios de cohortes, caso--control, ...)control, ...)
3
20072007 [email protected]@uab.es 1313
CARACTERCARACTERÍÍSTICASSTICASDatos:Datos:–– Tipos de medida de los efectosTipos de medida de los efectos–– Escalas de medidaEscalas de medida–– ExtensiExtensióón de la informacin de la informacióónn
Datos originalesDatos originalesEstadEstadíísticos de resumensticos de resumenEstimaciEstimacióón del efecto y errores estn del efecto y errores estáándarndarValores de significaciValores de significacióónn
20072007 [email protected]@uab.es 1414
CARACTERCARACTERÍÍSTICASSTICAS
Datos:Datos:–– Toda la informaciToda la informacióón, a excepcin, a excepcióón de los n de los
datos originales, complica enormemente el datos originales, complica enormemente el ajuste por distinto factores de confusiajuste por distinto factores de confusióón n potencialespotenciales
Disponibilidad de los estudios: Disponibilidad de los estudios: Sesgo Sesgo de publicacide publicacióónn
20072007 [email protected]@uab.es 1515
CARACTERCARACTERÍÍSTICASSTICAS
No independencia de los estudios No independencia de los estudios –– Tiempo: momento en que se realiza el Tiempo: momento en que se realiza el
estudioestudio–– Centro o investigadorCentro o investigador–– MMúúltiple publicaciltiple publicacióón de los resultadosn de los resultados–– Mismos sujetos (en distintos estudios)Mismos sujetos (en distintos estudios)
20072007 [email protected]@uab.es 1616
Ventajas y limitacionesVentajas y limitaciones
VentajasVentajasConsideraciConsideracióón sistemn sistemáática (evaluacitica (evaluacióón no n no sesgada)sesgada)CuantificaciCuantificacióón de los resultadosn de los resultadosAumento de precisiAumento de precisióón de los resultadosn de los resultadosMayor capacidad de estudiar efectos en Mayor capacidad de estudiar efectos en subgrupossubgruposMayor facilidad para evaluar las discrepancias Mayor facilidad para evaluar las discrepancias entre estudiosentre estudiosMayor generalizaciMayor generalizacióón de las conclusionesn de las conclusiones
20072007 [email protected]@uab.es 1717
Ventajas y limitacionesVentajas y limitaciones
Limitaciones:Limitaciones:La calidad estLa calidad estáá limitada por los estudios limitada por los estudios individualesindividualesDificultad para establecer los criterios de inclusiDificultad para establecer los criterios de inclusióónnSesgo de selecciSesgo de seleccióón (publicacin (publicacióón, lengua, calidad ...)n, lengua, calidad ...)
20072007 [email protected]@uab.es 1818
ProtocoloProtocolo•• Como en cualquier otro estudio, antes de iniciar unComo en cualquier otro estudio, antes de iniciar un
metameta--ananáálisis se debe elaborar un protocolo completolisis se debe elaborar un protocolo completoy detalladoy detallado
•• El protocolo deberEl protocolo deberíía incluir como ma incluir como míínimo:nimo:-- Una descripciUna descripcióón detallada de los objetivos e hipn detallada de los objetivos e hipóótesis que tesis que
se van a probarse van a probar-- Los criterios de inclusiLos criterios de inclusióón y exclusin y exclusióón de los estudiosn de los estudios-- Los procedimientos que se utilizarLos procedimientos que se utilizaráán para probar la n para probar la
homogeneidad de los tamahomogeneidad de los tamañños de los efectos entre os de los efectos entre estudiosestudios
-- Los mLos méétodos estadtodos estadíísticos que se utilizarsticos que se utilizaráán para estimar el n para estimar el tamatamañño del efecto globalo del efecto global
-- Los mLos méétodos que se utilizartodos que se utilizaráán para presentar y resumirn para presentar y resumirlos resultadoslos resultados
4
20072007 [email protected]@uab.es 1919
AnAnáálisis de la heterogeneidadlisis de la heterogeneidad•• Respuesta a la siguiente pregunta:Respuesta a la siguiente pregunta:
¿¿SON COMBINABLES LOS ESTUDIOS?SON COMBINABLES LOS ESTUDIOS?
•• Pruebas de homogeneidad de los resultados de los Pruebas de homogeneidad de los resultados de los estudios individuales:estudios individuales:-- Prueba jiPrueba ji--cadradocadrado Q de Q de CochranCochran-- Prueba jiPrueba ji--cuadrado de cuadrado de BreslowBreslow--DayDay
•• Las pruebas de homogeneidad tienen baja potencia Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidadpara detectar la heterogeneidad
•• Un valor p de la prueba de homogeneidad 0.10, Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, sugiere heterogeneidad entre estudios y, por tanto, podrpodríía no ser va no ser váálido combinar los estudioslido combinar los estudios
20072007 [email protected]@uab.es 2020
Egger et al. Systematic reviews in health care. London: BMJ books, 2001.
20072007 [email protected]@uab.es 2121
Magnitud del efecto (1)Magnitud del efecto (1)•• Los mLos méétodos estadtodos estadíísticos utilizados para estimar sticos utilizados para estimar
el tamael tamañño del efecto global de diferentes estudios o del efecto global de diferentes estudios se basan ense basan en Modelos de Efectos Fijos y Efectos Modelos de Efectos Fijos y Efectos AleatoriosAleatorios
•• LosLos Modelos de Efectos FijosModelos de Efectos Fijos asumen un efecto asumen un efecto constante del tratamiento entre estudios, es decir, constante del tratamiento entre estudios, es decir, los tamalos tamañños de los efectos entre estudios son os de los efectos entre estudios son homoghomogééneos o similares.neos o similares.-- Los diferentes estudios pertenecen a una misma Los diferentes estudios pertenecen a una misma
poblacipoblacióónn-- Consideran la variabilidad Consideran la variabilidad intraintra--estudioestudio
20072007 [email protected]@uab.es 2222
Magnitud del efecto (2)Magnitud del efecto (2)•• LosLos Modelos de Efectos AleatoriosModelos de Efectos Aleatorios consideran que consideran que
existe una variaciexiste una variacióón entre estudiosn entre estudios-- Los estudios provienen de poblaciones diferentesLos estudios provienen de poblaciones diferentes-- Consideran la variabilidad Consideran la variabilidad intraintra e e interinter--estudioestudio
20072007 [email protected]@uab.es 2323
Magnitud del efecto (3)Magnitud del efecto (3)•• Ninguno de los dos modelos se puede considerarNinguno de los dos modelos se puede considerar
““correctocorrecto””::
-- Si los estudios son homogSi los estudios son homogééneosneosLa elecciLa eleccióón entre un modelo de efectos fijos n entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los y efectos aleatorios no es importante, ya que los resultados serresultados seráán idn idéénticosnticos
-- Si los estudios no son homogSi los estudios no son homogééneosneosEs mEs máás apropiado elegir un modelo de efectos s apropiado elegir un modelo de efectos aleatoriosaleatorios
•• Los modelos de efectos fijos y efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes mutilizan diferentes méétodos estadtodos estadíísticos para sticos para combinarlos resultadoscombinarlos resultados
20072007 [email protected]@uab.es 2424
Magnitud del efecto (4)Magnitud del efecto (4)
Efectos fijos Efectos aleatorios Método Efecto Método Efecto
V. Cualit. Mantel-Haenszel OR, RR DerSimonian- Laird
Ratios y Diferencias
Peto OR
Basado en la varianza general
Ratios y diferencias
V. Cuantit. Diferencias tipificadas entre
medias
Cuantitativas
Diferencias tipificadas
entre medias
Cuantitativas
5
20072007 [email protected]@uab.es 2525
Unbiased HedgesUnbiased Hedges’’ g estimateg estimate
Corrections for small sample size will be made.Corrections for small sample size will be made.
σμμ
δ ce −=
1431−
−=m
Jm
( ) ⎟⎟⎠
⎞⎜⎜⎝
⎛−+
−=⎟⎠⎞
⎜⎝⎛
−−=
9431
1431
ee nng
mgd
2−+= ec nnm
20072007 [email protected]@uab.es 2626
Effect size interpretationEffect size interpretation
Since effect sizes are nonSince effect sizes are non--dimensional dimensional measurements (no units), some measurements (no units), some conventions have been proposedconventions have been proposed[1][1],,[2][2]: : –– smallsmall≈≈0.20,0.20,–– mediummedium≈≈0.50 0.50 –– largelarge≈≈0.800.80
–– [1][1] Cohen, J. (1988). Cohen, J. (1988). StatisticalStatistical powerpower analysisanalysis forfor thethe behavioralbehavioralsciencessciences (2nd (2nd eded.). .). HillsdaleHillsdale, NJ: , NJ: ErlbaumErlbaum..
–– [2][2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155155--159.159.
20072007 [email protected]@uab.es 2727
AnAnáálisis de sensibilidad (resumen)lisis de sensibilidad (resumen)•• Un anUn anáálisis de sensibilidad evallisis de sensibilidad evalúúa la a la
estabilidad de las conclusiones de un anestabilidad de las conclusiones de un anáálisis lisis segsegúún las asunciones (supuestos) que se han n las asunciones (supuestos) que se han realizado en el anrealizado en el anáálisislisis
•• Cuando una conclusiCuando una conclusióón permanece invariante n permanece invariante al variar las asunciones del anal variar las asunciones del anáálisis, se lisis, se refuerza la confianza en la validez de las refuerza la confianza en la validez de las conclusiones del anconclusiones del anáálisislisis
20072007 [email protected]@uab.es 2828
AnAnáálisis de sensibilidad (1)lisis de sensibilidad (1)•• Un anUn anáálisis de sensibilidad evallisis de sensibilidad evalúúa la estabilidad dea la estabilidad de
las conclusiones de un anlas conclusiones de un anáálisis seglisis segúún las asunciones n las asunciones (supuestos) que se han realizado en el an(supuestos) que se han realizado en el anáálisislisis
•• Cuando una conclusiCuando una conclusióón permanece invariante al variar n permanece invariante al variar las asunciones del anlas asunciones del anáálisis, se refuerza la confianza lisis, se refuerza la confianza en la validez de las conclusiones del anen la validez de las conclusiones del anáálisislisis
•• El anEl anáálisis de sensibilidad permite identificar las lisis de sensibilidad permite identificar las asunciones masunciones máás crs crííticas del anticas del anáálisislisis
•• Conocer las asunciones crConocer las asunciones crííticas de un anticas de un anáálisis puede lisis puede ser utilizado para formular las prioridades para una ser utilizado para formular las prioridades para una futura investigacifutura investigacióón enfocada a resolver el problema n enfocada a resolver el problema planteado en el anplanteado en el anáálisislisis
20072007 [email protected]@uab.es 2929
AnAnáálisis de sensibilidad (2)lisis de sensibilidad (2)
ANÁLISIS ASUNCIONESANÁLISIS DE
SENSIBILIDAD- Est im a c ió n d e lam a g n itu d d e le fe c to g lo b a lm e d ia n te u nm o d e lo d e e fe c to sfijo s
- La s m a g n itu d e sd e lo s e fe c to s d elo s e stu d io s so nh o m o g é n e o s osim ila re s
- Est im a r la m a g n itu dd e l e fe c to g lo b a lm e d ia n te u n m o d e lod e e fe c to s a le a to rio s
Si lo s re su lta d o s d e lo s d o s a n á lisis so n sim ila re s, la a su n c ió n d e la n á lisis e s c o rre c ta
La m a g n itu d d e l e fe c to g lo b a l e st im a d o e s v a lid o Si lo s re su lta d o s d e lo s d o s a n á lisis so n d ife re n te s, la a su n c ió nd e l a n á lisis n o e s c o rre c ta , e s d e c ir, la s m a g n itu d e s d e lo se fe c to s d e lo s e stu d io s n o so n h o m o g é n e o s
La m a g n itu d d e l e fe c to g lo b a l e st im a d o p o d ría n o se r v a lid o
20072007 [email protected]@uab.es 3030
AnAnáálisis se sensibilidad (3)lisis se sensibilidad (3)
EFFECTS MODEL
REL
ATI
VE L
IVE-
BIR
TH R
ATI
O
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
2.0
FIXED RANDOM FIXED RANDOM
FAVO
UR
S C
ON
TRO
LFA
VOU
RS
TREA
TMEN
T
Homogeneity testP = 0.06 (<<0.10)
Homogeneity testP = 0.63 (>>0.10)
Data from Jeng GT et al. JAMA 1995; 274:830-8
6
20072007 [email protected]@uab.es 3131
AnAnáálisis de la correlacilisis de la correlacióónn•• Una correlaciUna correlacióón significativa entre la magnitud n significativa entre la magnitud
del efecto y el tamadel efecto y el tamañño de la muestra de los estudios o de la muestra de los estudios indica que el tamaindica que el tamañño del efecto depende del tamao del efecto depende del tamañño o del estudiodel estudio
•• Esta correlaciEsta correlacióón puede indicar una verdadera n puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estarestudios, es decir, la rigurosidad del estudio estaríía a en funcien funcióón de su taman de su tamaññoo
•• En este caso podrEn este caso podríía no ser valido el metaa no ser valido el meta--ananáálisislisis
20072007 [email protected]@uab.es 3232
AnAnáálisis de la correlacilisis de la correlacióónnCORRELATION BETWEEN THE EFFECT SIZE AND SAMPLE SIZE
SAMPLE SIZE
0.00.20.40.60.81.01.21.41.61.82.02.22.4
100 140 180 220 260 300 340 380 420
OD
DS
RA
TIO
r2 = 0.01b = 0.0009p = 0.70
20072007 [email protected]@uab.es 3333
AnAnáálisis de la robustezlisis de la robustez
•• AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o inclusin y/o inclusióón n selectiva de estudios positivosselectiva de estudios positivos
•• CorrelaciCorrelacióón entre la magnitud del efecto y n entre la magnitud del efecto y el tamael tamañño muestral de los estudios.o muestral de los estudios.
20072007 [email protected]@uab.es 3434
AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos (1)n selectiva de estudios positivos (1)
•• La introducciLa introduccióón del sesgo de publicacin del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos en un n selectiva de estudios positivos en un metameta--ananáálisis se debe fundamentalmente a que:lisis se debe fundamentalmente a que:
-- La mayorLa mayoríía de estudios publicados presentan a de estudios publicados presentan resultados positivos significativos y una minorresultados positivos significativos y una minoríía a muestran resultados negativos o no significativos muestran resultados negativos o no significativos
-- Hay una tendencia a seleccionar y, por tanto, Hay una tendencia a seleccionar y, por tanto, incluir en el metaincluir en el meta--ananáálisis los estudios o datos no lisis los estudios o datos no publicados con resultados positivos significativospublicados con resultados positivos significativosy a guardar los que muestran resultados y a guardar los que muestran resultados negativos o no significativosnegativos o no significativos
20072007 [email protected]@uab.es 3535
AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o inclusin y/o inclusióón n selectiva de estudios positivos (2)selectiva de estudios positivos (2)
PUBLISHED STUDIES VS UNPUBLISHED STUDIES
REL
ATI
VE L
IVE-
BIR
TH R
ATI
O
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
PUBLISHED UNPUBLISHED PUBLISHED + UNPUBLISHED DATA
PUBLISHED+ UNPUBLISHED
FAVOURS CONTROL
FAVOURS TREATMENT
Data from Jeng GT et al. JAMA 1995; 274:830-836
20072007 [email protected]@uab.es 3636
Los mLos méétodos utilizados para detectar la introduccitodos utilizados para detectar la introduccióón n del sesgo de publicacidel sesgo de publicacióón en un metan en un meta--ananáálisis son:lisis son:
–– FunnelFunnel plotplot–– El anEl anáálisis de la lisis de la asimetriaasimetria del del funnelfunnel plotplot
Si el nSi el núúmero de estudios incluidos en el metamero de estudios incluidos en el meta--ananáálisis lisis es pequees pequeñño, el o, el funnelfunnel plotplot es poco es poco úútil. En este caso, el til. En este caso, el mejor mmejor méétodo es comparar el tamatodo es comparar el tamañño del efecto o del efecto global entre los estudios publicados y no publicadosglobal entre los estudios publicados y no publicados
En un metaEn un meta--ananáálisis basado en todos los estudios lisis basado en todos los estudios originales, no es necesario analizar el sesgo de originales, no es necesario analizar el sesgo de publicacipublicacióónn
AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos (3)n selectiva de estudios positivos (3)
7
20072007 [email protected]@uab.es 3737
FunnelFunnel plotplot
PublishedUnpublishedOverall OR
DEMONSTRATION OF FUNNEL PLOT
ODDS RATIO
SAM
PLE
SIZE
0
20
40
60
80
100
120
140
160
180
200
220
0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
20072007 [email protected]@uab.es 3838
FunnelFunnel plotplot
PublishedOverall OR
DEMONSTRATION OF FUNNEL PLOT
ODDS RATIO
SAM
PLE
SIZE
0
20
40
60
80
100
120
140
160
180
200
220
0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2
20072007 [email protected]@uab.es 3939
PresentaciPresentacióón grn grááficafica
20072007 [email protected]@uab.es 4040
Conclusiones (1)Conclusiones (1)1.1. El metaEl meta--ananáálisis es un herramienta valida y lisis es un herramienta valida y
poderosa para la spoderosa para la sííntesis de la investigacintesis de la investigacióón n siempre y cuando se aplique de forma adecuada siempre y cuando se aplique de forma adecuada (justificaci(justificacióón, protocolo, etc.)n, protocolo, etc.)
2.2. La utilizaciLa utilizacióón no crn no críítica del metatica del meta--ananáálisis puede lisis puede llevar a conclusiones errllevar a conclusiones erróóneas. Las principales neas. Las principales crcrííticas que se realizan a un metaticas que se realizan a un meta--ananáálisis son:lisis son:
-- Sesgo de publicaciSesgo de publicacióón y/o inclusin y/o inclusióón selectiva de n selectiva de estudios positivosestudios positivos
-- Heterogeneidad entre estudiosHeterogeneidad entre estudios-- CorrelaciCorrelacióón entre el taman entre el tamañño del efecto y el o del efecto y el
tamatamañño de la muestrao de la muestra
20072007 [email protected]@uab.es 4141
Conclusiones (2)Conclusiones (2)3.3. ÚÚnicamente cuando estos problemas son nicamente cuando estos problemas son
debidamente considerados y analizados por debidamente considerados y analizados por medio de:medio de:
-- AnAnáálisis de la asimetrlisis de la asimetríía del a del funnelfunnel plotplot-- Pruebas de homogeneidadPruebas de homogeneidad-- AnAnáálisis de la correlacilisis de la correlacióón entre el n entre el
tamatamañño del efecto y el tamao del efecto y el tamañño de la o de la muestra de los estudiosmuestra de los estudios
Es posible aplicar esta tEs posible aplicar esta téécnica estadcnica estadíística stica para combinar los estudios de forma que los para combinar los estudios de forma que los resultados globales sean cientresultados globales sean cientííficamente ficamente validosvalidos
20072007 [email protected]@uab.es 4242
MetaMeta--ananáálisislisisEjemploEjemplo
Ferran Torres Ferran Torres [email protected]@uab.es
8
20072007 [email protected]@uab.es 4343
Effects of Effects of plantagoplantago ovataovatahusk on lipid metabolism. husk on lipid metabolism.
A metaA meta--analysisanalysis
20072007 [email protected]@uab.es 4444
Selection of studiesSelection of studies
Identified 26 studies =>18 were valid Identified 26 studies =>18 were valid according to the predefined criteriaaccording to the predefined criteriaExcluded studies. Excluded studies.
–– Most of them (7 of 8) insufficient information Most of them (7 of 8) insufficient information on descriptive statistics to calculate the on descriptive statistics to calculate the metameta--analysis estimates from those studies; analysis estimates from those studies;
–– the other one was erroneously prethe other one was erroneously pre--selected selected since only insoluble fiber was used in that since only insoluble fiber was used in that trial. trial.
20072007 [email protected]@uab.es 4545
Statistical issues on the results (1)Statistical issues on the results (1)Poor quality of informationPoor quality of information
withdrawals and descriptive results:withdrawals and descriptive results:Complete available descriptive data, n, mean and Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). was found only for one study (Williams 1995).
–– SD (or SE to derive the SD):SD (or SE to derive the SD):Estimated from baseline and final values by using Estimated from baseline and final values by using correlation coefficients from other published data. correlation coefficients from other published data. If baseline or final SD not available: SD for the baseline If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data.difference was directly imputed from other published data.
crosscross--over designover design–– IntrasubjectIntrasubject correlation for the estimation of the SD of the correlation for the estimation of the SD of the
treatment differences has been ignored for the crosstreatment differences has been ignored for the cross--over over design because of (a) it was not available and (b) this is design because of (a) it was not available and (b) this is conservative since it leads to less significant results.conservative since it leads to less significant results.
20072007 [email protected]@uab.es 4646
Statistical issues on the results (2)Statistical issues on the results (2)
Treatment armsTreatment arms2 per study except 1:2 per study except 1:–– ((MacMahonMacMahon 1998): The mentioned study was a 1998): The mentioned study was a
three arm trial with a control group (n=74) and three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). (n=91).
–– Half the sample size of the control group (n=37; Half the sample size of the control group (n=37; 74/2) was used for the comparison between 74/2) was used for the comparison between each active group.each active group.
20072007 [email protected]@uab.es 4747 20072007 [email protected]@uab.es 4848
9
20072007 [email protected]@uab.es 4949
Statistical issues on the results (3)Statistical issues on the results (3)
Potential Publication BiasPotential Publication Bias
–– (a) The biggest studies have the lowest magnitude (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of effect for Total Cholesterol, although the direction of the effect is positive for all of them. the effect is positive for all of them.
–– (b) There are probably some unpublished small (b) There are probably some unpublished small studies with negative results, although the bigger studies with negative results, although the bigger studies are positive.studies are positive.
20072007 [email protected]@uab.es 5050
Statistical issues on the results (3)Statistical issues on the results (3)
Heterogeneity and sensibility analysisHeterogeneity and sensibility analysis
–– (a) The biggest studies have the lowest magnitude effect (a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is for Total Cholesterol, although the direction of the effect is positive for all of them. positive for all of them.
–– (b) There are probably some unpublished small studies (b) There are probably some unpublished small studies with negative results, although the bigger studies are with negative results, although the bigger studies are positive.positive.
=>=>
–– Pooled results too heterogeneousPooled results too heterogeneousvery cautious with the conclusions very cautious with the conclusions fixed effects not validfixed effects not valid
20072007 [email protected]@uab.es 5151
MetaMeta--analysis estimationsanalysis estimations
Significant effect for Significant effect for –– Total Cholesterol (p<0.001)Total Cholesterol (p<0.001)–– LDL (p<0.001) LDL (p<0.001)
““Marginally significantMarginally significant““–– Triglycerides (p=0.213 but p=0.021 for Triglycerides (p=0.213 but p=0.021 for
the fixed effect approach) the fixed effect approach)
No effect:No effect:–– HDL (p=0.886 and p=0.178 for the HDL (p=0.886 and p=0.178 for the
fixed effect approach)fixed effect approach)
20072007 [email protected]@uab.es 5252
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.80 ( -0.93 , -0.68 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(fixed effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Fixed effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5353
-5 -4 -3 -2 -1 0 1 2 3 4 5
-1.01 ( -1.31 , -0.70 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolHedges unbiased g, Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5454
-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9
-0.31 ( -0.37 , -0.24 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.940(0.152) 40: -0.250(0.072) 19: -0.340(0.151) 30: -0.337(0.119) 27: -0.510(0.529) 27: -0.520(0.363) 21: -0.550(0.416) 20: -0.363(0.565) 59: -0.337(0.407) 20: 0.070(0.447) 18: -0.810(0.177) 19: -0.450(0.159) 18: -0.290(0.407) 26: -0.544(0.133) 23: -0.180(0.407)101: -0.670(0.407) 91: -0.700(0.407) 62: -0.673(0.169) 14: -0.119(0.407)
n=522
Controln: mean(SD)
13: -0.230(0.320) 35: 0.010(0.219) 19: -0.020(0.242) 28: 0.052(0.179) 27: -0.070(0.364) 25: -0.240(0.133) 23: 0.000(0.225) 20: -0.130(0.134) 59: -0.018(0.407) 20: 0.080(0.358) 18: -0.620(1.169) 18: -0.170(0.296) 18: 0.270(0.407) 24: -0.299(0.177) 23: 0.080(0.407) 37: -0.610(0.407) 37: -0.610(0.407) 63: -0.440(0.746) 15: 0.372(0.407)
n= 648
Fiber vs Placebo effect in lipid reduction. Total CholesterolDifference of means (mmol/L), Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
10
20072007 [email protected]@uab.es 5555
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.03 ( -0.39 , 0.33 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 RODRIGUEZ-MORAN 1998
ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.090(0.042) 40: 0.050(0.066) 19: -0.020(0.080) 30: 0.026(0.168) 27: 0.060(0.168) 27: -0.020(0.099) 21: -0.020(0.057) 20: 0.026(0.100) 59: -0.026(0.055) 20: -0.020(0.224) 18: 0.130(0.154) 19: -0.010(0.070) 18: -0.040(0.030) 26: 0.106(0.094) 23: 0.055(0.168) 62: 0.440(0.454) 14: 0.005(0.168)
n=448
Controln: mean(SD)
13: -0.090(0.141) 35: 0.030(0.058) 19: -0.020(0.072) 28: 0.078(0.168) 27: 0.140(0.168) 25: 0.000(0.072) 23: -0.010(0.024) 20: 0.000(0.094) 59: -0.013(0.059) 20: -0.040(0.134) 18: 0.130(0.120) 18: 0.070(0.085) 18: 0.040(0.030) 24: 0.039(0.031) 23: -0.185(0.168) 63: 0.078(0.044) 15: 0.017(0.168)
n=456
Fiber vs Placebo effect in lipid reduction. HDLHedges unbiased g, Random effects
Control better Fiber better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5656
-5 -4 -3 -2 -1 0 1 2 3 4 5
-1.02 ( -1.36 , -0.69 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.840(0.264) 40: -0.310(0.081) 19: -0.160(0.100) 30: -0.337(0.224) 27: -0.480(0.448) 27: -0.590(0.283) 21: -0.560(0.385) 20: -0.389(0.372) 59: -0.332(0.096) 20: 0.040(0.358) 18: -1.090(0.216) 19: -0.440(0.194) 18: -0.260(0.016) 26: -0.613(0.093) 23: -0.320(0.427)101: -0.630(0.427) 91: -0.710(0.427) 62: -0.725(0.427) 14: -0.179(0.427)
n=522
Controln: mean(SD)
13: -0.110(0.321) 35: 0.000(0.232) 19: -0.140(0.252) 28: -0.104(0.144) 27: -0.140(0.523) 25: -0.200(0.147) 23: -0.130(0.211) 20: -0.130(0.099) 59: -0.057(0.200) 20: -0.060(0.358) 18: -0.850(0.941) 18: -0.250(0.261) 18: 0.280(0.316) 24: -0.221(0.238) 23: -0.020(0.427) 37: -0.580(0.427) 37: -0.580(0.427) 63: -0.440(0.427) 15: 0.281(0.427)
n=648
Fiber vs Placebo effect in lipid reduction. LDLHedges unbiased g, Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5757
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.88 ( -1.01 , -0.75 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(fixed effects)
Fibern: mean(SD)
13: -0.840(0.264) 40: -0.310(0.081) 19: -0.160(0.100) 30: -0.337(0.224) 27: -0.480(0.448) 27: -0.590(0.283) 21: -0.560(0.385) 20: -0.389(0.372) 59: -0.332(0.096) 20: 0.040(0.358) 18: -1.090(0.216) 19: -0.440(0.194) 18: -0.260(0.016) 26: -0.613(0.093) 23: -0.320(0.427)101: -0.630(0.427) 91: -0.710(0.427) 62: -0.725(0.427) 14: -0.179(0.427)
n=522
Controln: mean(SD)
13: -0.110(0.321) 35: 0.000(0.232) 19: -0.140(0.252) 28: -0.104(0.144) 27: -0.140(0.523) 25: -0.200(0.147) 23: -0.130(0.211) 20: -0.130(0.099) 59: -0.057(0.200) 20: -0.060(0.358) 18: -0.850(0.941) 18: -0.250(0.261) 18: 0.280(0.316) 24: -0.221(0.238) 23: -0.020(0.427) 37: -0.580(0.427) 37: -0.580(0.427) 63: -0.440(0.427) 15: 0.281(0.427)
n=648
Fiber vs Placebo effect in lipid reduction. LDLHedges unbiased g, Fixed effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5858
-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9
-0.28 ( -0.35 , -0.21 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 SUMMERBELL 1994
WOLEVER 1994 WILLIAMS 1995
WEINGAND 1997 MACMAHON 1998 MACMAHON 1998
RODRIGUEZ-MORAN 1998 ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.840(0.264) 40: -0.310(0.081) 19: -0.160(0.100) 30: -0.337(0.224) 27: -0.480(0.448) 27: -0.590(0.283) 21: -0.560(0.385) 20: -0.389(0.372) 59: -0.332(0.096) 20: 0.040(0.358) 18: -1.090(0.216) 19: -0.440(0.194) 18: -0.260(0.016) 26: -0.613(0.093) 23: -0.320(0.427)101: -0.630(0.427) 91: -0.710(0.427) 62: -0.725(0.427) 14: -0.179(0.427)
n=522
Controln: mean(SD)
13: -0.110(0.321) 35: 0.000(0.232) 19: -0.140(0.252) 28: -0.104(0.144) 27: -0.140(0.523) 25: -0.200(0.147) 23: -0.130(0.211) 20: -0.130(0.099) 59: -0.057(0.200) 20: -0.060(0.358) 18: -0.850(0.941) 18: -0.250(0.261) 18: 0.280(0.316) 24: -0.221(0.238) 23: -0.020(0.427) 37: -0.580(0.427) 37: -0.580(0.427) 63: -0.440(0.427) 15: 0.281(0.427)
n=648
Fiber vs Placebo effect in lipid reduction. LDLDifference of means (mmol/L), Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 5959
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.15 ( -0.39 , 0.09 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 WILLIAMS 1995
WEINGAND 1997 RODRIGUEZ-MORAN 1998
ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.210(0.058) 40: 0.030(0.302) 19: -0.135(0.214) 30: -0.011(0.320) 27: -0.240(0.293) 27: 0.200(0.516) 21: 0.080(0.455) 20: 0.102(0.630) 59: 0.006(0.308) 20: 0.240(0.805) 18: 0.450(1.008) 26: -0.142(0.249) 23: 0.002(0.781) 62: -0.554(0.781) 14: 0.165(0.781)
n=412
Controln: mean(SD)
13: 0.190(0.479) 35: -0.050(0.102) 19: 0.030(0.201) 28: 0.000(0.088) 27: -0.140(0.313) 25: -0.120(0.185) 23: 0.300(0.791) 20: 0.000(0.224) 59: 0.150(0.345) 20: 0.920(1.163) 18: 0.410(0.351) 24: -0.232(0.137) 23: 0.002(0.781) 63: -0.181(0.781) 15: 0.342(0.781)
n=419
Fiber vs Placebo effect in lipid reduction. TriglyceridesHedges unbiased g, Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 6060
-5 -4 -3 -2 -1 0 1 2 3 4 5
-0.16 ( -0.30 , -0.02 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 WILLIAMS 1995
WEINGAND 1997 RODRIGUEZ-MORAN 1998
ANDERSON 1999
Pooled(fixed effects)
Fibern: mean(SD)
13: -0.210(0.058) 40: 0.030(0.302) 19: -0.135(0.214) 30: -0.011(0.320) 27: -0.240(0.293) 27: 0.200(0.516) 21: 0.080(0.455) 20: 0.102(0.630) 59: 0.006(0.308) 20: 0.240(0.805) 18: 0.450(1.008) 26: -0.142(0.249) 23: 0.002(0.781) 62: -0.554(0.781) 14: 0.165(0.781)
n=412
Controln: mean(SD)
13: 0.190(0.479) 35: -0.050(0.102) 19: 0.030(0.201) 28: 0.000(0.088) 27: -0.140(0.313) 25: -0.120(0.185) 23: 0.300(0.791) 20: 0.000(0.224) 59: 0.150(0.345) 20: 0.920(1.163) 18: 0.410(0.351) 24: -0.232(0.137) 23: 0.002(0.781) 63: -0.181(0.781) 15: 0.342(0.781)
n=419
Fiber vs Placebo effect in lipid reduction. TriglyceridesHedges unbiased g, Fixed effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
11
20072007 [email protected]@uab.es 6161
-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9
-0.07 ( -0.16 , 0.03 )
Study ANDERSON 1988
BELL 1989 BELL 1990 LEVIN 1990 NEAL 1990
ANDERSON 1991 ANDERSON 1992 EVERSON 1992
SPRECHER 1993 SPRECHERON 1993
MACIEJKO 1994 WILLIAMS 1995
WEINGAND 1997 RODRIGUEZ-MORAN 1998
ANDERSON 1999
Pooled(random effects)
Fibern: mean(SD)
13: -0.210(0.058) 40: 0.030(0.302) 19: -0.135(0.214) 30: -0.011(0.320) 27: -0.240(0.293) 27: 0.200(0.516) 21: 0.080(0.455) 20: 0.102(0.630) 59: 0.006(0.308) 20: 0.240(0.805) 18: 0.450(1.008) 26: -0.142(0.249) 23: 0.002(0.781) 62: -0.554(0.781) 14: 0.165(0.781)
n=412
Controln: mean(SD)
13: 0.190(0.479) 35: -0.050(0.102) 19: 0.030(0.201) 28: 0.000(0.088) 27: -0.140(0.313) 25: -0.120(0.185) 23: 0.300(0.791) 20: 0.000(0.224) 59: 0.150(0.345) 20: 0.920(1.163) 18: 0.410(0.351) 24: -0.232(0.137) 23: 0.002(0.781) 63: -0.181(0.781) 15: 0.342(0.781)
n=419
Fiber vs Placebo effect in lipid reduction. TriglyceridesDifference of means (mmol/L), Random effects
Fiber better Control better
Estimates with 95% confidence intervals
Absolute Baseline Reduction
20072007 [email protected]@uab.es 6262
SubgroupsSubgroupsSS with ES>1SS with ES>1–– Cholesterol and LDLCholesterol and LDL
fiber food supplement compoundfiber food supplement compoundintake duration between 4 and 8 weeksintake duration between 4 and 8 weeksdaily doses >10G/ddaily doses >10G/d
Moderate SS ESModerate SS ES–– >8 weeks regimens >8 weeks regimens
--0.7 cholesterol and 0.7 cholesterol and --0.8 LDL0.8 LDL
SS with ESSS with ES≈≈1 1 –– periods of study publication: no clear trendperiods of study publication: no clear trend
Adult population: replication of the main pooled Adult population: replication of the main pooled effect because only 2 studies on childhood.effect because only 2 studies on childhood.
20072007 [email protected]@uab.es 6363
Group P value
Hedges’ g estimator (random)
95% Lower Limit
95% Upper Limit
Main pooled effect 0.000 -1.007 -1.311 -0.703Type of fiber
Fiber food supplement compound 0.000 -1.134 -1.561 -0.707Diet or Cereals supplements 0.000 -0.869 -1.313 -0.426
Duration of fiber Intake <=4 weeks 0.310 -0.670 -1.966 0.625 >4 to <=8 weeks 0.000 -1.171 -1.539 -0.803>8 weeks 0.024 -0.672 -1.255 -0.088
Daily dose < 5 G/d 0.939 -0.024 -0.644 0.596 >= 5 to 10 G/d 0.005 -0.908 -1.542 -0.275>10 G/d 0.000 -1.123 -1.477 -0.769
Population Non Adults 0.303 -0.786 -2.282 0.711 Adults 0.000 -1.032 -1.350 -0.714
Year of publication 1988-1990 0.000 -1.807 -2.418 -1.1961991-1993 0.001 -0.786 -1.234 -0.3381994-1997 0.000 -0.971 -1.456 -0.486>=1998 0.016 -0.370 -0.673 -0.068
CholesterolCholesterol
20072007 [email protected]@uab.es 6464
LDLLDLGroup
P value
Hedges’ g estimator (random)
95% Lower Limit
95% Upper Limit
Main pooled effect 0.000 -1.023 -1.356 -0.690Type of fiber
Fiber food supplement compound 0.000 -1.191 -1.569 -0.813Diet or Cereals supplements 0.002 -0.833 -1.360 -0.306
Duration of fiber Intake <=4 weeks 0.437 -1.023 -3.601 1.555 >4 to <=8 weeks 0.000 -1.115 -1.447 -0.783>8 weeks 0.036 -0.765 -1.480 -0.051
Daily dose < 5 G/d 0.389 0.274 -0.349 0.897 >= 5 to 10 G/d 0.022 -0.950 -1.761 -0.139>10 G/d 0.000 -1.154 -1.457 -0.851
Population Non Adults 0.441 -0.942 -3.338 1.454 Adults 0.000 -1.029 -1.354 -0.704
Year of publication 1988-1990 0.001 -1.192 -1.891 -0.4931991-1993 0.003 -1.102 -1.834 -0.3701994-1997 0.001 -1.245 -2.008 -0.481>=1998 0.008 -0.453 -0.788 -0.118
20072007 [email protected]@uab.es 6565
MetaMeta--ananáálisislisisEjemploEjemplo
Ferran Torres Ferran Torres [email protected]@uab.es
20072007 [email protected]@uab.es 6666
ExampleExampleFleiss JL The statistical basis of metaFleiss JL The statistical basis of meta--analysis. analysis. Statistical Methods in Medical research 1993; 2: Statistical Methods in Medical research 1993; 2: 121121--145.145.
Results of seven placeboResults of seven placebo--controlled randomised controlled randomised studies of the effect of aspirin in preventing studies of the effect of aspirin in preventing death after myocardial infarctiondeath after myocardial infarction
12
20072007 [email protected]@uab.es 6767
StudyAAS Placebo AAS Placebo
MRC-1 49 67 615 624CDP 44 64 758 771MRC-2 102 126 832 850GASP 32 38 317 309PARIS 85 104 810 812AMIS 246 219 2267 2257ISIS-2 1570 1720 8587 8600
deaths Total patients
Studies of aspirin in myocardial infarction
20072007 [email protected]@uab.es 6868
Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%
95% CI
8.910=∑ iw3.99yw ii −=∑Pooled estimate of ln(OR) =
OR = 0.90 (0.84 0.96)
11.08.9103.99
−=−
Meta-analysis of Aspirin trials
20072007 [email protected]@uab.es 6969
Graphical representationGraphical representation
20072007 [email protected]@uab.es 7070
Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%
95% CI
Fixed OR = 0.90 (0.84 0.96)
Study OR y=ln(OR) var Prop weightMRC-1 0.72 0.46 1.10 -0.33 0.05 8.0%CDP 0.68 0.43 1.05 -0.38 0.05 8.0%MRC-2 0.80 0.57 1.12 -0.22 0.03 13.0%GASP 0.80 0.46 1.36 -0.22 0.07 5.0%PARIS 0.79 0.52 1.20 -0.23 0.05 9.0%AMIS 1.13 0.86 1.48 0.12 0.02 21.0%ISIS-2 0.90 0.72 1.10 -0.11 0.01 36.0%
95% CI
Random OR= 0.88 95%CI : (0.77 ; 0.99)
20072007 [email protected]@uab.es 7171 20072007 [email protected]@uab.es 7272
13
20072007 [email protected]@uab.es 7373 20072007 [email protected]@uab.es 7474
10.4%-14.2% = 3.8%
20072007 [email protected]@uab.es 7575
MetaMeta--ananáálisislisisNormativasNormativas
Ferran Torres Ferran Torres [email protected]@uab.es
20072007 [email protected]@uab.es 7676
GuiasGuias y Normativasy NormativasICH ICH -- E9: Statistical Principles for Clinical E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Trials Note for Guidance on Statistical Principles for Clinical Trials. Principles for Clinical Trials. CMP/ICH/363/96. September 1998CMP/ICH/363/96. September 1998
CPMP/EWP/2330/99: Validity and CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Interpretation of Pooled Analyses, and one Pivotal studyPivotal study
The Potsdam International Consultation on The Potsdam International Consultation on MetaMeta--analysis Potsdam, Germany, March 1994analysis Potsdam, Germany, March 1994
QUORUM. Statement. QUORUM. Statement. Lancet 1999; 354: Lancet 1999; 354: 18961896--1900.1900.
20072007 [email protected]@uab.es 7777
PotsdamPotsdam International International CosultationCosultation
• • JournalJournal ofof ClinicalClinical EpidemiologyEpidemiology 1995; 48: 11995; 48: 1--7171
• • Cook DJ, Cook DJ, SackettSackett DL, DL, SpitzerSpitzer WO. WO. MethodologicMethodologicguidelinesguidelines forfor systematicsystematic reviewsreviews ofof randomizedrandomizedcontrol control trialstrials in in healthhealth carecare fromfrom thethe PotsdamPotsdamconsultationconsultation metameta--analysisanalysis. J . J ClinClin EpidemiolEpidemiol 1995;1995;48:16848:168--71.71.
Describen los pasos que se deben seguir en el Describen los pasos que se deben seguir en el desarrollo de un metadesarrollo de un meta--ananáálisis rigurosolisis riguroso
20072007 [email protected]@uab.es 7878
14
20072007 [email protected]@uab.es 7979
ICHICH Biostatistical guidelineBiostatistical guideline””Individual clinical trials should alwaysIndividual clinical trials should always bebe large large
enoughenough toto satisfy their objectivessatisfy their objectives..””
””TheThe useuse of metaof meta--analytic techniquesanalytic techniques totocombine these estimatescombine these estimates isis often usefuloften useful,,becausebecause itit allowsallows aa moremore preciseprecise estimateestimate of of thethe sizesize of theof the treatment effectstreatment effects..””
20072007 [email protected]@uab.es 8080
ICHICH Biostatistical guidelineBiostatistical guideline
””UnderUnder exceptional circumstancesexceptional circumstances a metaa meta--analyticanalytic approachapproach maymay be thebe the most most appropriate wayappropriate way to, or theto, or the only wayonly way, of, ofproviding sufficientproviding sufficient overalloverall evidenceevidence ofofefficacyefficacy ......””
20072007 [email protected]@uab.es 8181
PtCPtC on Metaon Meta--analysesanalyses
”…”… not tonot to encourageencourage applicantsapplicants toto relyrely on a on a submissionsubmission where stand alonewhere stand alone studiesstudieshave been substitutedhave been substituted by a metaby a meta--analysisanalysis ofof trialstrials ofof inadequate sizeinadequate size..””
20072007 [email protected]@uab.es 8282
AcceptableAcceptable regulatoryregulatory purposes for metapurposes for meta analysisanalysis
ToTo improveimprove the precision of thethe precision of the estimateestimate ofofefficacyefficacy
ToTo evaluate whetherevaluate whether overall positiveoverall positive results results are also seenare also seen inin prepre--specified subgroupsspecified subgroups
ToTo evaluate apparently conflicting resultsevaluate apparently conflicting results..
20072007 [email protected]@uab.es 8383
AcceptableAcceptable regulatoryregulatory purposes for metapurposes for metaanalysisanalysis
ToTo evaluateevaluate anan additional efficacy outcome additional efficacy outcome that requires more power thanthat requires more power than thethe individual individual trials cantrials can provide.provide.
ToTo evaluate safetyevaluate safety in ain a subgroupsubgroup, or a rare, or a rareeventevent in all patients.in all patients.
20072007 [email protected]@uab.es 8484
PrePre--specificationspecification: Meta: Meta--analysis protocolanalysis protocol
TheThe objectiveobjective of theof the analyisanalyis..CriteriaCriteria forfor inclusioninclusion andand exclusionexclusion of studies of studies ((studystudy populations,populations, studystudy design,design, dosagedosage,,duration etcduration etc).).StrategyStrategy forfor indentificationindentification of studies.of studies.EndpointsEndpoints. The definitions set up for the. The definitions set up for theindividualindividual studiesstudies shouldshould bebe followedfollowed..
15
20072007 [email protected]@uab.es 8585
PrePre--specificationspecification: Meta: Meta--analysis protocolanalysis protocol
Statistical methodsStatistical methods. P. P--value morevalue more extremeextremethanthan thethe conventionalconventional 0.05.0.05. EvaluationEvaluation ofofhetreogeneityhetreogeneity..
Plan forPlan for evaluationevaluation ofof robustnessrobustness. . Demonstration ofDemonstration of consistencyconsistency in alternativein alternativeanalysesanalyses..
20072007 [email protected]@uab.es 8686
Timing of the metaTiming of the meta--analysis protocolanalysis protocol
AA retrospective specification shouldretrospective specification should bebeavoided if possibleavoided if possible..
InIn retrospectively specified protocolsretrospectively specified protocols thetheprimary specificationsprimary specifications and definitions set up and definitions set up in thein the indiviindivi--dual studiesdual studies shouldshould bebe followedfollowed..
20072007 [email protected]@uab.es 8787
RetrospectiveRetrospective metameta--analysisanalysis
MayMay be acceptablebe acceptable ififsomesome studiesstudies clearlyclearly positivepositivenono majormajor numerical interactionsnumerical interactionspositive trend inpositive trend in inconclusiveinconclusive studiesstudiespooledpooled CICI well awaywell away fromfrom zerozero (or(or unityunity))selection bias unlikelyselection bias unlikelyrobustnessrobustness of theof the findingsfindings
20072007 [email protected]@uab.es 8888
SelectionSelection of studiesof studies
Obligation toObligation to submitsubmit all studies relevant to all studies relevant to thethe claims madeclaims made..
Selection biasSelection bias normally not a problem fornormally not a problem for new new chemical entitieschemical entities..
Selection biasSelection bias inin drug applicationsdrug applications notnot specificspecifictoto applications withapplications with a metaa meta--analysisanalysis
20072007 [email protected]@uab.es 8989
SelectionSelection of studiesof studies
SubstantialSubstantial risk forrisk for selection biasselection bias ininapplications whollyapplications wholly or partlyor partly relyingrelying ononbibliographicalbibliographical data.data.
TheThe strategystrategy forfor indentifyingindentifying relevant relevant studiesstudies shouldshould bebe presented together withpresented together with aathorough discussionthorough discussion of a potentialof a potential selection selection biasbias..
20072007 [email protected]@uab.es 9090
Clinical relevanceClinical relevance ofof pooled resultspooled results
Statistical significanceStatistical significance vsvs clinical relevanceclinical relevance..
EmphasisEmphasis onon clinicalclinical judgement.judgement.
Significant effects mightSignificant effects might be to small tobe to small toresultresult in a positive overall risk/in a positive overall risk/benefitbenefit..
16
20072007 [email protected]@uab.es 9191
HeterogeneityHeterogeneity andand external validityexternal validity
AreAre thethe studystudy populationspopulations sufficientlysufficientlyrepresentative of arepresentative of a common targetcommon target population population ((dosagedosage,, durationduration,, severity etcseverity etc)?)?
Are there anyAre there any reason toreason to suspectsuspect a a clinically clinically relevant interaction?relevant interaction?
Suspected interactionsSuspected interactions and majorand major clinical clinical differences amongdifferences among thethe individualindividual studiesstudies shouldshould bebeevaluatedevaluated in alternativein alternative analysesanalyses..
20072007 [email protected]@uab.es 9292
Pooled analyses Pooled analyses of of safety endpointssafety endpoints
Less Less sophisticatedsophisticated poolingpooling of data from of data from variable variable sourcessources..
Strigent Strigent metameta--analysis analysis for in for in depth evaluation depth evaluation of of safety safety signals from less reliable signals from less reliable analysesanalyses..
SpecialSpecial attentionattention to theto the inclusioninclusion of studiesof studiesthat are likelythat are likely toto dilutedilute potential negativepotential negativeeffecteffect..
IntraIntra--study comparisonsstudy comparisons a minimuma minimumrequirementrequirement..
20072007 [email protected]@uab.es 9393
ICH E9 ICH E9 Statistical principlesStatistical principles for for Clinical Clinical TrialsTrials, 1998, 1998
””The The resultsresults of the of the confirmatoryconfirmatory trial(s) trial(s) shouldshould be robust.be robust.””
””In In somesome circumstancescircumstances the the weightweight of of evidenceevidence from a from a singlesingle confirmatoryconfirmatorytrial trial maymay be be sufficientsufficient..””
20072007 [email protected]@uab.es 9494
What What is the is the crucial questioncrucial question??
Do we have enough Do we have enough studies?studies?
oror
Do we have enough Do we have enough data?data?
20072007 [email protected]@uab.es 9595
Arguments forArguments for replicationreplication
More than one study More than one study provides a provides a broader broader basis basis for generalisation of the for generalisation of the resultsresults..
Protection against fraudProtection against fraud
Reduced Reduced risk for risk for some hidden systematic biassome hidden systematic bias
The general The general demand demand for for replication replication of of scientific resultsscientific results
20072007 [email protected]@uab.es 9696
Fundamental Fundamental requirementrequirement on theon the phasephaseIIIIII documentationdocumentation
AdequateAdequate andand wellwell--controlledcontrolled data of data of good quality good quality A A sufficient number sufficient number of patients, of patients, withwith a a sufficient variety sufficient variety and and disease conditionsdisease conditions, , collectedcollected by a by a sufficent number sufficent number of of investigatorsinvestigators, , demonstratingdemonstrating a positive risk/a positive risk/benefit benefit in the in the intended intended population at the population at the intended dose intended dose and and manner manner of of useuse..
Minimum Minimum requirementrequirement: : One controlled study with One controlled study with stasta--tistically compelling tistically compelling and and clinically clinically relevant relevant resultsresults..
17
20072007 [email protected]@uab.es 9797
Reasons to plan forReasons to plan for more than one studymore than one study
Lack ofLack of pharmacological rationalepharmacological rationale
AA new pharmocological principlenew pharmocological principle
PhasePhase I and I and phase phase II data II data limited limited or or unconvincingunconvincing
A A therapeutic therapeutic area area with with a a history history of of failed failed studies or studies or failures failures to to confirm seemingly confirm seemingly convincing resultsconvincing results
Any other need Any other need to to address additional address additional questions questions in the in the phase phase III programIII program
20072007 [email protected]@uab.es 9898
Crucial issuesCrucial issues in thein the one pivotal studyone pivotal study situationsituation
InternalInternal andand external validityexternal validity..
Clinical relevanceClinical relevance. The . The treatment benefit treatment benefit must be must be large enough large enough to be to be clinically clinically relevant.relevant.
Statistical significanceStatistical significance. . PassingPassing the the conventional conventional 5% 5% significance level significance level is is usually usually not not sufficientsufficient..
20072007 [email protected]@uab.es 9999
Crucial issuesCrucial issues in thein the one pivotal studyone pivotal study situationsituation
Data Data qualityquality
Internal consistencyInternal consistency.. Similar findingsSimilar findings ininprepre--specified subspecified sub--populations and for populations and for differentdifferent endpointsendpoints..
CenterCenter effectseffects..
PlausibilityPlausibility of theof the hypothesis testedhypothesis tested..
20072007 [email protected]@uab.es 100100
Scientific advice Scientific advice on on One confirmatory studyOne confirmatory studySponsorsSponsors’’ argument argument
New/New/extended indicationextended indication, , pediatric indicationpediatric indicationNew New formulationformulationEffects Effects on on survivalsurvivalSerious disease Serious disease (e.g. cancer)(e.g. cancer)LifeLife--long disease without curelong disease without cureNo therapy currently availableNo therapy currently availableRare Rare disease disease ((orphan drugorphan drug))One study One study in in each each of of two indicationstwo indicationsPlacebo Placebo controlled dosecontrolled dose--finding finding study study positivepositive
20072007 [email protected]@uab.es 101101
Conclusion Conclusion on on One Pivotal studyOne Pivotal study
There There is is no no formal formal requirementrequirement to to include two include two or or more pivotal more pivotal studies in the studies in the phase phase III III program.program.
In In most cases several most cases several studies is the studies is the most most feasible way feasible way to provide the data to provide the data neededneeded..
In the In the exceptional event exceptional event of aof a one pivotal one pivotal study applicationstudy application, , theis study theis study has to be has to be particularly compellingparticularly compelling..