¿LAS MEDIDAS UTILIZADAS

SON DE BUENA CALIDAD?

Joyce Schramm-Ensp/Fiocruz

joyce@ensp.fiocruz.br

Validez

La validez de una medida se refiere, en términos

cuantitativos, a cuánto una medida es útil para

diagnosticar la ocurrencia de un evento que se propone

medir (para eso es necesario definir un criterio).

ESTÁNDAR ORO

ESTÁNDAR ORO - ASPECTOS IMPORTANTES

En general es difícil de encontrar;

En muchas ocasiones exige la utilización de pruebas relativamente más elaboradas, costosas o riesgosas (biopsia, exploración quirúrgica y, ciertamente autopsia;

Para aquellas enfermedades que suelen manifestarse después de algunos años de tener una sospecha inicial, los resultados del seguimiento pueden servir como estándar (la mayoría de los cánceres y enfermedades crónico-degenerativas);

COMPARACIÓN-ECLAMC/SINASC

UF

Sexo

Año d

e n

acim

iento

Nacid

os V

ivos

NV

c/ anom

alía c

ongénita

Tota

l de a

nom

alías

Q05 -

Espin

a b

ífid

a

ecla

mc

Q36 –

Labio

leporino

ecla

mc

Q35; Q

37 –

Labio

leporino

y p

ala

dar

hendid

o

ecla

mc

Q00 -

Anencefa

lia

ecla

mc

Q90 -

Sín

dro

me d

e D

ow

n

ecla

mc

Q20-Q

28 –

Enfe

rmedades

congénitas d

el cora

zón

ecla

mc

Q790-Q

799; Q

401 -

Anom

alía

de la p

are

d a

bdom

inal

ecla

mc

Q39 -

Atr

esia

esofá

gic

a

ecla

mc

Q42 -

Atr

esia

anal o

recta

l

ecla

mc

Q601 -

Agenesia

renal

bila

tera

l

ecla

mc

Otr

as a

nom

alías

Total 1868 402 558 30 5 17 14 12 23 85 3 1 0 368

2006 938 201 276 9 1 10 8 10 11 37 3 1 0 186

2007 930 201 282 21 4 7 6 2 12 48 0 0 0 182

média 934 201 279 15 24 2,5 3 8,5 11 7 10 6 8 11,5 19 42,5 46 1,5 3 0,5 2 0 3 184

Total 938 216 292 14 0 8 8 7 13 42 2 1 0 197

2006 473 114 161 6 0 5 3 7 7 22 2 1 0 108

2007 465 102 131 8 0 3 5 0 6 20 0 0 0 89

Total 917 173 238 15 5 8 4 5 7 41 1 0 0 152

2006 459 81 105 3 1 4 3 3 4 15 1 0 0 71

2007 458 92 133 12 4 4 1 2 3 26 0 0 0 81

Total 13 13 28 1 0 1 2 0 3 2 0 0 0 19

2006 6 6 10 0 0 1 2 0 0 0 0 0 0 7

2007 7 7 18 1 0 0 0 0 3 2 0 0 0 12

Institu

to F

ern

andes F

igueira

Tota

l M

asc

F

em

Ig

n

VALIDEZ DE CRITERIO

Para definir la validez de criterio:

Sensibilidad

Especificidad

VALIDEZ DE PREDICCIÓN

En estudios de seguimiento existe una asociación entre los resultados de una prueba y los eventos subsecuentes.

de la prueba

de inteligencia

Éxito escolar

Creatividad

Éxito profesional

Puntajes

VALIDEZ DEL CONSTRUCTO

Evalúa la existencia de asociación con otras variables relacionadas a la variable en estudio

• Un investigador está elaborando una prueba para evaluar

estrés, tanto físico como psicológico. Construye los ítems

basado en una determinada teoría sobre el estrés. Sin

embargo, para tener mayor seguridad de que los ítems

que formuló son adecuados y evalúan tanto el estrés

físico como el psicológico, pidió a algunos especialistas

de esa área leer los ítems y comentar si estos estaban de

acuerdo con la teoría del estrés y si evaluaban

correctamente los síntomas físicos y psicológicos del

estrés.

• Los especialistas leyeron los ítems y llegaron a la

conclusión de que los ítems estaban de acuerdo con la

teoría utilizada sobre el estrés y que evaluaban tanto el

estrés físico como el psicológico.

whoqol

Dominio I – Dominio físico

1. Dolor e incomodidad

2. Energía y fatiga

3. Sueño y descanso

Dominio II – Dominio psicológico

4. Sentimientos positivos

5. Pensar, aprender, memoria y concentración

6. Autoestima

7. Imagen corporal y apariencia

8. Sentimientos negativos

Dominio III – Nivel de Independencia

9. Movilidad

10. Actividades de la vida cotidiana

11. Dependencia de medicación o de tratamientos

12. Capacidad de trabajo

Dominio IV – Relaciones Sociales

13. Relaciones personales

14. Soporte (apoyo) social

15. Actividad sexual

Dominio V - Ambiente

16. Seguridad física y protección

17.Ambiente en el hogar

18. Recursos financieros

19. Cuidados de la salud y sociales: disponibilidad y calidad

20. Oportunidades para adquirir nuevas informaciones y habilidades

21. Participación en/y oportunidades recreativas/diversión

22. Ambiente físico: (contaminación/ruido/tránsito/clima)

23. Transporte

Dominio VI – Aspectos espirituales/Religión/Creencias personales

24. Espiritualidad/religión/creencias personales

VALIDEZ DEL CONTENIDO

¿El conjunto de preguntas utilizado cubre todos los componentes que se propone medir?

Participante I – Ceguera

MOVILIDAD

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

CUIDADOS PERSONALES

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

ACTIVIDADES USUALES

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

DOLOR / INCOMODIDAD

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

ANSIEDAD / DEPRESIÓN

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

CONOCIMIENTO

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

ESTADO GENERAL DE SALUD

Sin problemas de locomoción

Confinado

en cama

Sin problemas

con cuidados

personales

Incapacidad

para lavarse

o vestirse

Sin problemas con

actividades usuales

(trabajo, estudio,

de casa, familiares

o de diversión)

Incapaz de realizar

actividades usuales

Sin dolor o

incomodidad

Fuertes dolores

o incomodidad

inimaginable

Sin ansiedad

o depresión

Mayor ansiedad

depresión

inimaginable

Sin problemas

cognitivos

Incapaz de organizar pensamientos

Mejor estado

de salud

Peor estado

de salud

imaginable

VALIDEZ DE SUPERFICIE

¿Las preguntas son

formuladas claramente?

Sensibilidad y Especificidad

Sensibilidad- es la capacidad que tiene la prueba para detectar a los individuos verdaderamente positivos, o sea, de diagnosticar correctamente a los enfermos;

Especificidad- es la capacidad que tiene la prueba para detectar a los verdaderos negativos, es decir, de diagnosticar correctamente a los individuos sanos;

Falso positivo y falso negativo

Valor predictivo de una prueba: la validez de un marcador serológico se refiere a la extensión con que este puede predecir la ocurrencia de un determinado evento

el valor predictivo puede ser positivo (es la proporción de enfermos entre los positivos de

la prueba, es decir, (son los verdaderos positivos) y valor predictivo negativo (es

la proporción de sanos (sin la enfermedad) son los verdaderos negativos.

Sensibilidad: verdaderos positivos

Especificidad: verdaderos negativos

falsos positivos: prueba positiva en no enfermos

falsos negativos: prueba negativa en enfermos

valor predictivo positivo: probabilidad de la prueba en la

predicción de los verdaderos positivos

valor predictivo negativo: probabilidad de la prueba en la

predicción de los verdaderos positivos

precisión: (a+d) / (a+b+c+d)

Enfermo No enfermo Total

Prueba + a b a+b

Prueba - c d c+d

Total a+c b+d a+b+c+d

Calcule:

Diabetes La relación de una prueba con la prevalencia???????

+ -

+ 350 1,900 2,250

- 150 7,600 7,750

500 9,500 10,000

• Sensibilidad=(350/500)*100=70%

• Especificidad=(7.600/9.500)*100=80%

• Valor predictivo positivo= (350/2.250)*100=15,6%

• Valor predictivo negativo= (7.600/7.750)*100=98,6%

• Falsos negativos= (150/500)*100=30%

• Falsos positivos= (1.900/9.500)*100=20%

Baja validez= error de clasificación

¿BAJA SENSIBILIDAD?

¿BAJA ESPECIFICIDAD?

Validez o precisión:

• Una medición es válida si es apropiada para el tema que

se está estudiando o si mide correctamente lo que se

propone.

• La validez informa si los resultados representan la

“verdad” o cuánto se alejan de ella.

Errores de Clasificación

La dirección del sesgo va a depender de la existencia de un mayor número de falsos negativos o de falsos positivos;

Sesgo de la información

Pueden ocurrir asociaciones falsas;

La sensibilidad y la especificidad pueden ser

utilizadas para datos dicotómicos y no para datos

continuos;

Datos continuos, se evalúan a través de la

correlación entre los datos observados y los datos

verdaderos

CONFIABILIDAD

Repetibilidad

Consistencia de los

resultados no es igual a

validez

Instrumentos diagnósticos

• -Pruebas de laboratorio

• -Procedimientos interrogatorios

• -Examen físico

• -Métodos propedéuticos

• Instrumentos diagnósticos

Confiabilidad / Reproductibilidad /

Repetibilidad:

• Se refiere a la concordancia o consistencia de

resultados cuando el examen se repite en condiciones

similares y se interpreta sin conocimiento previo de

los resultados

Ejemplo:

• Dos radiólogos que leen independientemente las mismas radiografías y llegan al mismo diagnóstico alcanzan el nivel máximo de reproductibilidad.

• Pero los dos pueden estar igualmente correctos o igualmente equivocados en sus diagnósticos

Variabilidad intra- e inter-observador

Observador B Observador A

1º EXAMEN

2º EXAMEN

A B

A B

variabilidad

intra-

observador variabilidad

intra-

observador

variabilidad

inter-

observador

REPRODUTIBILIDAD / REPETIBILIDAD /

CONFIABILIDAD

Mejores resultados obtenidos por aparatos de alta precisión

(en condiciones controladas);

Problemas en las investigaciones epidemiológicas

(problemas con el diagnóstico clínico);

Cuando la confiabilidad es baja, existen problemas en las

verdaderas correlaciones entre los eventos y limita la

utilidad en investigaciones poblacionales, perjudicando la

investigación de asociaciones entre factores de riesgo y

daños a la salud.

Relación entre reproductibilidad y

validez Validez

Reproductibilidad

Baja Alta

Baja

Alta

Valores obtenidos Valores obtenidos

Valores obtenidos Valores obtenidos

Valor verdadero Valor verdadero

Valor verdadero Valor verdadero

Valor verdadero Valor verdadero

Valor verdadero

*Un puntaje de 3 ó 4 ítems indica artritis reumatoide probable, 5 o más

ítems indican artritis reumatoide definida

JOYCE SCHRAMM

ENSP/FIOCRUZ

Criterios para Artritis Reumatoide*

Criterios de la Asociación Americana Criterios de Nueva York

1. Rigidez matinal 1. Historia de episodios dolorosos de 3

articulaciones en el tiempo

2. Dolor articular o dolor cuando hay

movilización

2. Edema, limitación, subluxación o anquilosis

de 3 articulaciones del miembro (debe incluir

mano, puño o pie y simetría de un par de

articulación, y debe excluir articulación

interfalángica distal. 5 ª articulación

interfalángica proximal. Primera articulación

metatarsofalángica y cadera

3. Aumento de volumen de las partes blandas

de una articulación

4. Alteraciones radiológicas (erosiones)

5. Aumento de volumen de las partes blandas

de una segunda articulación

6. Factores radiológicos reumatoides

positivos

7. Aumento de volumen de las partes blandas

de articulaciones simétricas (excluyendo a

la articulación interfalángica distal)

8. Nódulos subcutáneos

9. Alteraciones radiológicas

10. Factores serológicos reumatoides

positivos

CLASIFICACIÓN DE PACIENTE CON SOSPECHA DE FIEBRE HEMORRÁGICA (FHV))

FIEBRE NO

PROBABLEMENTE

NO es FHV

SÍ

OJOS ROJOS NO

¿Contacto

con pacientes

con FHV?

NO

POR LO MENOS

8 SÍNTOMAS NO

HEMORRÁGICOS

NO

SÍ SÍ

POR LO MENOS

1 SÍNTOMA

HEMORRÁGICO

FIEBRE

HEMORRÁGICA

VIRAL

NO

POR LO MENOS

3 SÍNTOMAS NO

HEMORRÁGICOS

NO

POR LO MENOS

6 SÍNTOMAS NO

HEMORRÁGICOS

PROBABLEMENTE

NO es FHV

SÍ SÍ SÍ

CASO SOSPECHOSO DE

FIEBRE HEMORRÁGICA VIRAL

C o r re la ç ã o e n tr e Id a d e n o p ro n tu á r io e a re fe r id a

R - s q u a r e = 0 , 9 6

Id a d e d a m ã e d o R N

6 05 040302 01 00

Ida

de

: (

an

os

)

50

40

30

20

10

C o r r e la ç ã o e n t re I d a d e g e s ta c io n a l

n o p r o nt u á r io e a r e fe r id a

R -s q u a r e = 0 ,5 8

Id a d e g e s ta c io n a l (s e m ) - P r t

5 04 54 03 53 02 52 0

ida

de

ge

sta

cio

na

l (s

em

an

as

) -

Mã

e

5 0

4 5

4 0

3 5

3 0

2 5

2 0

Edad de la madre del RN

Edad:

(años)

Correlación entre edad en la ficha y la declarada

Correlación entre la edad gestacional

en la ficha y la declarada

Edad g

esta

cio

nal (s

em

anas)

- M

adre

Edad gestacional (semanas) - Ficha

Gráfico 1

Correlación entre el Estado de Salud General (ESG)

atribuido a momentos diferentes

Gráfico 6

Pesos sugeridos en las dos Oficinas de Trabajo

NIVEL

PESOS

CONDICIÓN INDICADORA

SEMINARIO

GINEBRA

SEMINARIO

RIO

1

0,00 –

0,02

Vitíligo

Vitíligo

2

0,02 –

0,12

Diarrea acuosa y dolor de garganta

severa

Infertilidad y fractura del radio

3

0,12 –

0,24

Fractura del radio, infertilidad,

disfunción eréctil, artritis reumatoide y

angina

Diarrea y disfunción eréctil

4

0,24 –

0,36

Amputación debajo de la rodilla y

sordera

Dolor de garganta severa,

amputación debajo de la rodilla y

sordera

5

0,36 –

0,50

Fístula recto-vaginal, retardo mental

moderado

Artritis reumatoide

6

0,50 –

0,70

Depresión, ceguera y paraplejia

Ceguera, retardo mental y fístula

recto-vaginal

7

0,70 –

1,00

Psicosis activa, demencia, dolor de

cabeza severa y cuadriplejía

Psicosis, paraplejia, dolor de

cabeza severa, demencia,

cuadriplejía, angina, EPOC y

depresión.