Gemma Mª Esteve Esteve Evaluación de Sistemas de Información
Epidemiología y demografía sanitaria Bloque de epidemiología Tema 13 Estudios de las pruebas...
-
Upload
candelaria-sepulveda -
Category
Documents
-
view
39 -
download
15
Transcript of Epidemiología y demografía sanitaria Bloque de epidemiología Tema 13 Estudios de las pruebas...
Epidemiología y demografía sanitaria
Bloque de epidemiología
Tema 13
Estudios de las pruebas
diagnósticas
Dr. Esteve Fernández
¿Qué queremos aprender?
1. El concepto de variación en la medición y reproducibilidad.
2. Los conceptos y manera de calcular la sensibilidad y especificidad.
3. Los conceptos y manera de calcular los valores predictivos.
4. La utilidad de las curvas ROC y de las razones de verosimilitud.
5. Uso de pruebas diagnósticas en serie y en paralelo.
6. Los diseños para valorar la utilidad de las pruebas diagnósticas
Estructura de la sesión
1. Variación en la medición.
2. Reproducibilidad o concordancia de medidas.
3. Validez de una prueba diagnóstica.
4. Uso de pruebas diagnósticas en serie y en
paralelo.
5. Diseños para valorar una prueba diagnóstica.
Materiales para el aprendizaje
0. (Diapositivas de la lección)
1. Lectura recomendada
• Capítulo 14 libro Piédrola Gil y Capítulo 3 libro
Fletcher y cols.
2. Lecturas complementarias
• Artículos Aula Global
3. Seminario de resolución de problemas nº 9
Variación en la medición
Las apariencias a la mente son de cuatro clases.Cosas hay que son lo que parecen ser;o no lo son y no parecen serlo;o lo son y no parecen serlo;o no son y sí parecen serlo.Es tarea del hombre sabioel decidir correctamenteen todos esos casos
Epícteto (siglo II dC)Discursos (libro I, cap. 27)
La práctica de la medicina clínica
consiste en interpretar signos,
síntomas y “pruebas diagnósticas”
para tomar decisiones: diagnosticar,
tratar, o no tratar…
200 -
180 -
160 -
140 -
120 -
100 -
80 -
Valores hipotéticos de TA sistólica en un individuo
tiempo
Ten
sión
art
eria
l sis
tólic
a (m
m H
g)
Fuentes de variabilidad
Reproducibilidad o concordanciaGrado en que concuerdan dos o más mediciones sobre la misma muestra
ValidezGrado en que una medición coincide con la verdad
Validez y reproducibilidad…...
Reproducibilidad o concordancia de medidas
Reproducibilidad
Repetibilidad / Concordancia / Acuerdo / Fiabilidad
Grado en en que una variable tiene el mismo valor cuando se mide varias veces
en la misma muestra
La reproducibilidad es previa a la validez
El consenso (alta reproducibilidad) es útil en ausencia de referente
Reproducibilidad o concordancia
• interobservador grado de coincidencia de un observador consigo mismo
• entre observadores grado de concordancia entre dos o más observadores
Reproducibilidad de variables categóricas
–
+
–+
a b
c d
Observador B
Ob
serv
ado
r A
Acuerdo específico en lo positivoPo+ = 2a / (2a+b+c)
Acuerdo específico en lo negativoPo- = 2d / (2d+b+c)
Acuerdo totalPo = (a+d) / (a+b+c+d)
Problemas Depende de los pares discordantes Puede haber concordancia al azar
Índice Kappa (test de Cohen)
Resume la concordancia entre dos medidas de una variable en escala cualitativa, tras eliminar la concordancia debida al azar.
i
k
iie
k
iii
e
e
ppp
pp
p
ppKappa
.1
.
10
0
*
1
–
+
–+
a b
c d
Observador B
Ob
serv
ado
r A
Concordancia entre dos radiólogosal leer una mamografía (imagen patológica sí/no)
Sí
No
Sí No
71 41
42 455
Observador B
Ob
serv
ado
r A
113 496
112
497
609
Acuerdo específico en lo positivoPo+ = 2a / (2a+b+c)Po+ = 0,6311 = 63,1%
Acuerdo específico en lo negativoPo- = 2d / (2d+b+c)Po- = 0,9164 = 91,6%
Acuerdo totalPo = (a+d) / (a+b+c+d)Po = 0,8637 = 86,4%
Pasamos a probabilidades…
Sí
No
Sí NoObservador B
Observador A1166.0
609
71
7471.0609
455
1839.0609
112
8144.0609
496
8161.0609
497
1856.0609
113
547.06989.01
6979.08637.0
1
6989.0)8161.0*8144.0()1839.0*1856.0(*
8637.07471.01166.0
0
.1
.
10
e
e
i
k
iie
k
iii
p
ppKappa
ppp
pp
Clasificaciones propuestas para la interpretación del índice kappa
0
0,2
0,4
0,6
0,8
1
-1.0
Landis andKoch (1977) Altman (1991) Fleiss (1981) Byrt (1996)
Almostperfect
Substantial
Moderate
Fair
Slight
Poor
Very good
Good
Moderate
Fair
Poor
Excellent
Fairto
good
Poor
Excellent
Very good
Good
Fair
Slight
Poor
Noagreement
¿Y si tuvieramos tres opciones de respuesta?
Observador B
Ob
serv
ado
r A
+ +/– –
+
+/–
– ew
ewww
p
pp
ponderadaKappa
10
Problemas con el uso de kappa
• Depende de la prevalencia de “verdaderos
positivos” (o del desequilibrio entre resultados
negativos y positivos)
dar el valor de , Po+ y Po-
• Puede estar sesgado por la asimetría de las
discordancias
plantear diferentes escenarios de acuerdo
Reproducibilidad de variables continuas
• Pueden categorizarse pérdida de información
• No usar coeficiente de correlación
(regresión a la media)
• Trabajar con la “diferencia entre variables”
y sus medias:
coeficiente de correlación intraclase
t de Student para datos apareados
Ej.: Concordancia entre dos balanzas en la medida del peso
Validez de una prueba diagnóstica
Validez
Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)
ENFERMEDAD
PRUEBA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
o no lo son y no parecen serlo;o lo son y no parecen
serlo;
o no son y sí parecen serlo.
Cosas hay que son lo que parecen ser; ENFERMEDAD
PRUEBA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
– Grado en que los resultados de una prueba corresponden realmente a aquello que se está midiendo.
– Capacidad de la prueba para medir el fenómeno que se está estudiando.
– Capacidad de una prueba diagnóstica de clasificar correctamente a enfermos y no enfermos.
Parámetros de validez interna:– Sensibilidad (S) de la prueba– Especificidad (E) de la prueba
Validez
Parámetros de validez interna: sensibilidad
Sensibilidad
Probabilidad de que la prueba sea positiva si la enfermedad está presente.
ENFERMEDAD
PR
UE
BA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
Sensibilidad: S =a
a + c
Ejemplo:S=0,75 u 75%La prueba es positiva en el 75% de los que tienen la enfermedad
Parámetros de validez interna: especificidad
Especificidad
Probabilidad de que la prueba sea negativa en los individuos sanos.
ENFERMEDAD
PR
UE
BA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
Especificidad: E =d
b + d
Ejemplo:E=0,90 u 90%La prueba es negativa en el 90% de los que no tienen la enfermedad
Ejemplo: Validez del diagnóstico clínico de la faringitis en 152 pacientes (patrón de oro: cultivo)
Cultivo faríngeo
Dia
gnós
tico
clín
ico +
+
–
–
27 35
10 77 Especificidad: E =d
b + d
Sensibilidad: S =a
a + c
S = 27 / 37 = 73%
E = 77 / 112 = 69%
IC95%:
p 1,96 (p (1-p) / N)
S= 0,73 (0,66 - 0,80)
E= 0,69 (0,61 - 0,76)
Interés de pruebas sensibles
• Cuando el precio de omitir un diagnóstico sea elevado o cuando existe riesgo de extensión de la enfermedadObjetivo: detectar que se tiene la enfermedad (para tratarla o prevenir su extensión)Ej.: linfoma, Sida
• En las primeras etapas diagnósticas, cuando hay numerosas posibilidades diagnósticas, con la intención de disminuir éstas. Objetivo: descartar procesos.Ej.: sospecha de neoplasia
Una prueba sensible sobre todo es útil cuando su resultado es negativo.
• Útiles para confirmar un diagnóstico que ha sido sugerido por otros datos una prueba específica da pocos resultados “falsos positivos”.
Objetivo: confirmar que no se tiene el proceso
• Cuando los falsos positivos pueden causar perjuicio importante al paciente (físico, emocional o económico).
Una prueba específica sobre todo es útil cuando su resultado es positivo.
Interés de pruebas específicas
• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...
¿Relación entre S y E?
Angina
IAM
[CPK]
FPVN
• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...
¿Relación entre S y E?
Angina
IAM
[CPK]
FN VP
• Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos...
¿Relación entre S y E?
Angina
IAM
[CPK]FP EspecificidadVN
VP SensibilidadFN
¿Relación entre S y E?
FP EspecificidadVN
VP SensibilidadFN
Relación inversa
Cuanto más exigente sea el criterio,menor será la sensibilidad y mayor la especificidad
Puntos de corte
CPK
Valor S E
1 70 100.0 17.7
2 120 94.0 40.3
3 140 92.5 59.7
4 160 85.1 82.3
5 180 82.6 83.9
6 200 73.1 87.1
7 220 70.1 90.3
8 260 67.2 90.3
9 300 61.2 90.3
10 340 68.2 90.3
11 400 32.8 96.8
12 500 16.8 100.0
Relación inversa entre S y E
La relación inversa entre S y Esuele representarse mediante la curva ROC“receiver operating characteristic”
sensibilidadvs.1 – especificidad
sens
ibili
dad
1 – especificidad
Curva ROC
• Permite el cálculo del área bajo la curva
• Impresión gráfica de la relación entre S y E
• Facilita elección puntos de corte
• Permite valorar todo el espectro de valores
• Permite comparar pruebas diagnósticas (gráfica y estadísticamente)
sens
ibili
dad
1 – especificidad
VN+VPDiagnósticoscorrectos
FP+FN
Valores predictivos
En clínica normalmente deseamos saber si el resultado (positivo o negativo) de la
prueba es correcto o no, es decir, la probabilidad de la enfermedad tras
saber el resultado de la prueba
Valor predictivo positivo
• Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo
ENFERMEDAD
PR
UE
BA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
VPP =a
a + b
Ejemplo:VPP=0,99 0 99%El 99% de los pacientes con la prueba positiva tiene realmente la enfermedad
Valor predictivo positivo
• Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo
VPP =a
a + b
VPP =P * S
P * S + (1 – P) (1 – E)
El VPP depende de la prevalencia o probabilidada priori de la enfermedad
Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes
P: prevalenciaS: sensibilidadE: especificidad
Valor predictivo negativo
• Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo
ENFERMEDAD
PR
UE
BA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a b
c d
VPN =c
c + d
Ejemplo:VPN=0,10 0 10%El 10% de los pacientes con la prueba negativa tiene realmente la enfermedad
Valor predictivo negativo
• Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo
VPN =c
c + d
VPP =(1 – P) * E
(1 – P) E + P (1 – S)
El VPN depende de la prevalencia o probabilidada priori de la enfermedad
Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes
P: prevalenciaS: sensibilidadE: especificidad
Valores predicitivos --implicaciones
Dado que dependen de la prevalencia:
• Las pruebas diagnósticas funcionan mejor cuando la prevalencia de la enfermedad es mayor
• El uso de pruebas diagnósticas debe tener en cuenta las características de la enfermedad en el contexto en que se usan
• La prevalencia de enfermedad depende del nivel asistencial
Razones de verosimilitud(razones de probabilidad diagnóstica)
(likelihood ratios)
Parámetros independientes de la prevalencia de la enfermedad que
aglutinan la información sobre sensibilidad y especificidad
Razón de verosimilitud positiva (RVP)
La RVP relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con la ventaja posprueba de un resultado positivo (odds del VPP, VPP / 1 – VPP)
VPP
1 – VPP
P
1 – P
S
1 – E= X
Razón de verosimilitud positiva (RVP)
Cuanto mayor es la RVP (sobre 1) más importante es la contribución de un resultado positivo de la prueba en el diagnóstico de la enfermedad.
EjemploRVP=8 indica que el resultado es proporcionalmente 8
veces más frecuente en los enfermos que en los no enfermos
RVP >10 -- prueba excelenteRVP 5-10 -- prueba buenaRVP 2-5 -- prueba regularRVP 1-2 -- deficiente
Razón de verosimilitud negativa (RVN)
La RVN relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con el inverso de la ventaja posprueba de un resultado negativo (odds del VPN, VPN / 1 – VPN)
1 – VPN
VPN
P
1 – P
1 – S
E= X
La RVN valora la contribución de un resultado negativo en la “no confirmación” de la enfermedadmás importante cuanto más cerca de 0
1 – S
E
Razón de verosimilitud negativa (RVN)
E
1 – S
Se puede definir RVN al revés.Informa de la relación entre la ventaja preprueba de no enfermedad y la ventaja posprueba del resultado negativo, y su escala es similar a la de la RVP
Uso de pruebas diagnósticas múltiples
Pruebas diagnósticas múltiples
• Tipos:
– pruebas en paralelo (a la vez): un resultado positivo de cualquiera de ellas se considera diagnóstico de la enfermedad
– pruebas en serie (consecutivas): sólo se considera el diagnóstico de enfermedad cuando todas las pruebas dan positivas.
Pruebas en paralelo
• Cuando se necesita un diagnóstico rápido
(Ej.: pacientes hospitalizados o en urgencias)
– aumentan la sensibilidad y el VP negativo
– disminuyen la especificidad y el VP positivo
A
B
C
+
+
+
–
–
–
Prueba A o prueba B o prueba C positivas
Pruebas en paralelo
• Especialmente útiles cuando se requiere una prueba muy sensible pero sólo se dispone de pruebas relativamente insensibles que miden diferentes fenómenos clínicos.
• Es menos probable que la enfermedad se pase por alto, pero también hay más falsos positivos.
• Perjuicio: el tratamiento de algunos pacientes sin la enfermedad.
Pruebas en serie
• Cuando no se precisa una evaluación rápida
• Cuando alguna de las pruebas tiene un coste o un riesgo elevado
-- aumentan la especificidad y el VP positivo
-- disminuyen la sensibilidad y el VP negativo
A + B + C +
– – –
Prueba A y prueba B y prueba C positivas
Diseños para valorar pruebas diagnósticas
Diseños para valorar pruebas diagnósticas
Aspectos clave
• Seleccionar una muestra que represente a los pacientes o a la población en la que se aplicará la prueba
• Se debe estudiar la prueba diagnóstica bajo condiciones reales de aplicación (sin que el estudio influya en cómo se realizan)
• Independencia de las observaciones: en los estudios de concordancia es crucial que los observadores no se influyan
Diseños para valorar pruebas diagnósticas
Estudio transversal
• Único que se utiliza en los estudios de reproducibilidad• Segundo más usado en el estudio de la validez
• La prueba se aplica a una muestra representativa de los sujetos en los que luego se utilizará y todos los resultados se confirman mediante una prueba de referencia
• Permite calcular S y E; VPP y VPN; RVP y RVN
punto clave: selección de la muestra
Diseños para valorar pruebas diagnósticas
Estudio de casos y controles
• Diseño más usado en estudios de validez, y al mismo tiempo el que más problemas plantea
• Se seleccionan casos con la enfermedad y controles con diagnósticos diferenciales de la enfermedad (y con confirmación del diagnóstico mediante la prueba de referencia)
• Permite calcular la S en los casos y la E en los controles
Si enfermos y no enfermos no guardan la debida proporción no se pueden calcular los VPP y VPN
Diseños para valorar pruebas diagnósticas
Estudio de cohortes
• Se utilizan menos para valorar pruebas diagnósticas
• A partir de una muestra representativa de la población de referencia se forman dos cohortes, una con la prueba positiva y otra con la prueba negativa. En la cohorte con la prueba positiva se aplica la prueba de referencia y la cohorte con prueba negativa se sigue para descartar el diagnóstico
La declaración STARDStandards for Reporting of Diagnostic Accuracy
Es una guía de 25 puntos (y un diagrama de flujo), que pueden utilizar autores, editores, revisores y lectores para la redacción de artículos sobre pruebas diagnósticas y para su evaluación
Disponible en Aula Global
Recapitulación
1. Variación en la medición
Reproducibilidad o concordanciaGrado en que concuerdan dos o más mediciones sobre la misma muestra
ValidezGrado en que una medición coincide con la verdad
Recapitulación
2. Reproducibilidad o concordancia
–
+
–+
a b
c d
Observador B
Ob
serv
ado
r A
• Acuerdo total• Acuerdo específico en lo
positivo• Acuerdo específico en lo
negativo• Índice Kappa • Índice Kappa ponderado
Recapitulación
3. Validez de una prueba diagnóstica
Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)
ENFERMEDAD
PR
UE
BA
Sí
+
No
–
Verdaderospositivos
Falsospositivos
Falsosnegativos
Verdaderosnegativos
a bc d
• Sensibilidad (S) y Especificidad (E)• Curva ROC• Valores predictivos (VPP y VPN)• Razones de verosimilitud (RVP y RVN)
Recapitulación
4. Pruebas diagnósticas múltiples
Pruebas en paralelo
• aumentan la sensibilidad y el VPN
• disminuyen la especificidad y el VPP
Pruebas en serie
• aumentan la especificidad y el VPP• disminuyen la sensibilidad y el VPN
A
B
C
+
+
+
–
–
–
A + B + C +
– – –
Recapitulación
5. Diseños para valorar pruebas diagnósticas
• estudios transversales
• estudios de casos y controles
• estudios de cohortes
• La declaración STARD
Epidemiología y demografía sanitaria
Bloque de epidemiología
Tema 13
Estudios de las pruebas
diagnósticas
Dr. Esteve Fernández