Post on 26-May-2015
Rigoberto Marcelo Yáñez VeraRigoberto Marcelo Yáñez VeraJulio 2012Julio 2012
Validación Métodos Analíticos Validación Métodos Analíticos Cuantitativos, Cualitativos y Cuantitativos, Cualitativos y
Semicuantitativos en el Lab. ClínicoSemicuantitativos en el Lab. Clínico
Validación Métodos Analíticos Validación Métodos Analíticos Cuantitativos, Cualitativos y Cuantitativos, Cualitativos y
Semicuantitativos en el Lab. ClínicoSemicuantitativos en el Lab. Clínico
Norma NCh2547.Of2008 Norma NCh2547.Of2008 (ISO 15189)(ISO 15189)
• 5.5 Procedimientos Analíticos.
• 5.5.2 El laboratorio debe usar sólo procedimientos validados.
VALIDARVALIDAR VERIFICARVERIFICAR
ValidaciónValidación
“Confirmación mediante el examen y la obtención de evidencias
objetivas que aseguran el cumplimiento de una serie de
requerimientos particularmente definidos para aplicaciones
concretas”
(ISO 8402-1994 o NCh2000 – ISO 8402).
VALIDACIÓN DE MÉTODOS VALIDACIÓN DE MÉTODOS CUANTITATIVOS CUANTITATIVOS
Parámetros de calidad (desempeño analítico): - LINEALIDAD- EXACTITUD:
-PRECISIÓN: *Repetibilidad *Reproducibilidad
-VERACIDAD, Trazabilidad - INCERTIDUMBRE
-SELECTIVIDAD/ESPECIFICIDAD/INTERFERENCIAS- SENSIBILIDAD- LÍMITE DE DETECCIÓN- LÍMITE CUANTIFICACIÓN- ROBUSTEZ
Concentración
Res
pu
esta
del
inst
rum
ento
Intervalo lineal
LL
LC
LD
LL = L. de linealidad LC = L. de CuantificaciónLD = L. de Detección
ANÁLISIS CUANTITATIVOANÁLISIS CUANTITATIVO
-LINEALIDADCapacidad del método analítico de obtener resultados linealmente proporcionales entre la concentración del analito y su respuesta.
Análisis estadístico:*Curva regresión y = a + b x
*Coeficiente de determinación r2
*Análisis de varianza (regresión) con Estimación falta de ajuste Error residual puro.
Si p>0,05 es significativo y por
ende los datos tienden a ser lineales.
ANÁLISIS CUANTITATIVOANÁLISIS CUANTITATIVO
1 Selección del modelo: Normalmente una línea recta y = a + b x
(donde aa es la pendiente de la recta y bb la ordenada al origen)
2 Establecimiento del diseño experimental: dominio experimental: rango de concentraciones distribución de las medidas número de medidas
3 Estimación de los parámetros del modelo. Regresión por mínimos cuadrados.
4 Validación del modelo: ANOVA
ETAPAS DE LA REGRESIÓNETAPAS DE LA REGRESIÓN
Linealidad: Curva de Calibración IgGLinealidad: Curva de Calibración IgG
INMUNONEFELOMETRÍAINMUNONEFELOMETRÍA
X log(X) Y log(Y) Y log(Y)11,675 1,067 1263 3,101 948 2,9775,8375 0,766 935 2,971 672 2,8272,9188 0,465 665 2,823 408 2,6111,4594 0,164 408 2,611 215 2,3320,7297 -0,137 207 2,316 103 2,0130,3648 -0,438 120 2,079 35 1,544
Concentración (mg/dL) Medición 1 Medición 2
Medición instrumental (señal): intensidad de la luz dispersada por los complejos antígenos-anticuerpos.
CONCENTRACION mg/dL
LE
CT
UR
A
0 2 4 6 8 10 12
0
200
400
600
800
1000
1200
CURVA CALIBRACION IgGCURVA CALIBRACION IgG
log conc.
log
lect
ura
INMUNONEFELOMETRÍA
-0.5 -0.1 0.3 0.7 1.1
2
2.2
2.4
2.6
2.8
3
3.2
3.4
CURVA CALIBRACION IgGCURVA CALIBRACION IgG
ExactitudExactitud
Grado de concordancia entre el resultado de una medición y el valor de referencia aceptado o verdadero.
* Nota: El término “exactitud” cuando se aplica a un conjunto de resultados de mediciones implica la combinación de los componentes aleatorios y de un error sistemático común o de un componente de sesgo (Norma ISO 5725-1 e ISO 3534-1)
ExactitudExactitud
(Norma ISO 3534-1)(Norma ISO 3534-1)
-Precisión: grado de concordancia entre resultados de mediciones obtenidas independientes bajo condiciones establecidas (repetibilidad y reproducibilidad).
-Veracidad: grado de concordancia entre el valor medio obtenido a partir de una serie de resultados y un valor de referencia aceptado.
Exactitud = Precisión + Veracidad
PrecisiónPrecisión
La precisión depende sólo de la distribución de errores aleatorios y no tiene ninguna relación con el valor verdadero o el valor especificado.
-Repetibilidad
-Precisión intermedia o reproducibilidad intralaboratorio
-Reproducibilidad
(Norma ISO 5725-1 e ISO 3534-1)
REPETIBILIDAD:Es la medida de la precisión de un método
efectuado en las mismas condiciones, sobre el mismo analito, con el mismo método, con el mismo operador, utilizando el mismo instrumento de medida y durante un corto intervalo de tiempo.
PRECISIÓN:Grado de concordancia entre resultados de mediciones obtenidas de una serie repetida de análisis, sobre una muestra homogénea, bajo condiciones establecidas (Norma ISO 3534).
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
MediaDesviación estándarCoeficiente de variaciónAnálisis de varianza F (comparación de la desviación estándar)
Estudio homogeneidad muestra: Análisis de varianza (F) Prueba de “t”de Student.
ANÁLISIS ESTADÍSTICO DE LA ANÁLISIS ESTADÍSTICO DE LA PRECISIÓNPRECISIÓN
REPETIBILIDAD INMUNONEFELOMETRÍA PARA LA REPETIBILIDAD INMUNONEFELOMETRÍA PARA LA DETERMINACIÓN IgG DETERMINACIÓN IgG
(Homogeneidad Muestra)(Homogeneidad Muestra)
Muestra Contramuestra n 6 6
Media 1557.50 1554.67
s 52.129 82.199 CV 3.347 % 5.287 %
“t” calculado = 0.0713 < “t” tabla 5;0.025 = 2.571
No existe diferencia estadística significativa y por lo tanto las muestras son iguales y homogéneas.
REPRODUCIBILIDAD:Es la medida de la precisión de los resultados de un método analítico efectuado sobre el mismo analito, pero en condiciones diferentes (diferentes equipos utilizados, el operador, el período de tiempo, etc.)
PRECISIÓN
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
REPRODUCIBILIDAD INMUNONEFELOMETRÍA REPRODUCIBILIDAD INMUNONEFELOMETRÍA PARA DETERMINACIÓN DE IgGPARA DETERMINACIÓN DE IgG
IgG mg/dL
DÍA 1 DÍA 2 DÍA 3
1556 1568 15641568 1543 16061624 1556 15851481 1598 15561598 1602 15351518 1413 1568
n 18 (en tres dìas diferentes)
media 1557.72DE 12.27CV 0.8 %
Precisión 99.2 %
Análisis de Varianza--------------------------------------------------------------------------------------Fuente var. SC gl CM F P--------------------------------------------------------------------------------------Entre grupos 1496,78 2 748,389 0,28 0,7626Intra grupos 40682,8 15 2712,19--------------------------------------------------------------------------------------Total (Corr.) 42179,6 17
REPRODUCIBILIDAD INMUNONEFELOMETRÍA REPRODUCIBILIDAD INMUNONEFELOMETRÍA PARA DETERMINACIÓN DE IgGPARA DETERMINACIÓN DE IgG
Si F < P no existe diferencia estadística
significativa en las mediciones de los grupos.
Si F < P no existe diferencia estadística
significativa en las mediciones de los grupos.
VERACIDAD:Grado de concordancia entre el valor medio obtenido de una serie de resultados y el valor de referencia aceptado (certificado). Norma ISO 3534
Análisis estadístico Media experimental Desviación estándar experimental Prueba de “t” de Student
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
VERACIDAD INMUNONEFELOMETRIAVERACIDAD INMUNONEFELOMETRIAPARA DETERMINACIÓN DE IgG PARA DETERMINACIÓN DE IgG
MRC DB Lote 084705 IgG mg/dL n = 10 931,8
942,3951.8 924,8
918,6
927.1
920,5938,4935,2918,8
Media experimental 930.9Media certificada 925.0
Valor exp. MRC
media 930,9 925
s (DE) 11,0545
“t” calculado = 1,6963 <“t” (tabla) 9;0.025 = 2,262
p = 0,124
s
n μΧ
t α/2 1,-n
Se acepta la hipótesis de nulidad Ho. Existe trazabilidad
VERACIDAD INMUNONEFELOMETRIAVERACIDAD INMUNONEFELOMETRIAPARA DETERMINACIÓN DE IgG PARA DETERMINACIÓN DE IgG
IncertidumbreIncertidumbre
Magnitud asociada con el resultado de medición que caracteriza la dispersión de los valores que razonablemente podrían ser asignados al mesurando.
-Incertidumbre estándar:
Incertidumbre de un resultado de medición expresada como desviación estándar.
-Incertidumbre estándar combinada:
Incertidumbre estándar como resultado de una estimación mediante la propagación de errores con base en las incertidumbres individuales.
-Incertidumbre expandida
Incertidumbre estándar que se expresa como un intervalo de confianza.
IncertidumbreIncertidumbre
gl = n - 1 (grado libertad)
nivel = 0,05
CÁLCULO DE INCERTIDUMBRE EXPANDIDACÁLCULO DE INCERTIDUMBRE EXPANDIDA
U MRC IgG exp. = ± 7,9 mg/dL
ns
tU 1-nα/2;x
SELECTIVIDAD / ESPECIFICIDAD
Capacidad del método analítico para medir en forma exacta un analito particular dentro de una mezcla compleja, sin interferencia de otras sustancias o analitos.
Magnitud influyente, magnitud que no es el mesurando pero afecta al resultado de la medición (interferencia).
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
Interferencia de la SeñalInterferencia de la Señal
Algunos compuestos presentes en la muestra por un artefacto aumentan o disminuyen la magnitud del mecanismo de detección.
Ejemplos:
Fluoresceína, EDTA , Azida de Sodio, Lípidos, Complemento, Fibrinógeno, Albúmina
Detección y Control de InterferenciasDetección y Control de Interferencias
• Son difíciles de detectar pues se desconoce el resultado verdadero. Se obtienen de los datos del fabricante o de literatura. El laboratorio debe establecer requisitos de ausencia de interferencia para valores definidos de las magnitudes.
• Verificar resultados de pacientes con condiciones clínicas asociadas con interferencias (enfermedades hepáticas, fallas renales, embarazo, incongruencias con cuadro clínico).
• Inspeccionar las muestras visualmente buscando hemólisis, ictericia, lipemia o evaluarlas usando indicadores séricos.
ESTUDIO DE INTERFERENCIASESTUDIO DE INTERFERENCIAS
1 Prueba de dilución lineal (las interferencias no se comportan linealmente con la dilución).
2 Analizar la muestra por otro método (comparación de métodos).
3 Tratar la muestra para remover, destruir o inhibir sustancias potencialmente interferentes.
4 Análisis de muestras enriquecidas con el interferente.
Concentración
Res
pu
esta
del
inst
rum
ento
Intervalo lineal
LL
LC
LD
LL = L. de linealidad LC = L. de CuantificaciónLD = L. de Detección
ANÁLISIS CUANTITATIVOANÁLISIS CUANTITATIVO
SENSIBILIDAD
Es la capacidad de un método analítico de registrar ligeras variaciones de la concentración.
msb
γ Sensibilidadb = Pendiente obtenida desde la regresión lineal.Sm = desviación estándar de la muestra.
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
LÍMITE DE DETECCIÓN (LD)
Menor concentración o cantidad de analito detectable con razonable certeza por un procedimiento analítico dado. Concentración que proporciona una señal en el instrumento significativamente diferente de una muestra blanco.
b
s* 3 y LD bl
bl
Ybl = señal promedio del blanco.Sbl = desviación estándar del blanco.b = pendiente obtenida desde la regresión lineal del analito.
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
LÍMITE DE CUANTIFICACIÓN (LC)
Es la menor concentración de analito que puede determinarse con precisión y exactitud razonables en las condiciones establecidas y se expresa en unidades de concentración.
b
s* 10 y LC bl
bl
Ybl = señal promedio del blanco.Sbl = desviación estándar del blanco.b = pendiente obtenida desde la regresión lineal del analito.
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
ROBUSTEZ:
Grado de concordancia de los resultados al efectuar cambios en las condiciones operativas y ambientales normalizadas del método.
ANÁLISIS CUANTITATIVO ANÁLISIS CUANTITATIVO VALIDACIÓNVALIDACIÓN
Capacidad de un procedimiento de permanecer inalterado por pequeñas pero deliberadas variaciones en los parámetros del método y provee información de su comportamiento en la rutina.
Parámetros estudiar:
- Efectos del congelado-descongelado
- Tiempos de incubación
- Cambio pH tampones
- Temperaturas de incubación
- Longevidad de los reactivos
- Preparación de la muestra
- Conservación de la muestra.
ROBUSTEZROBUSTEZ
NORMA NCh 2446.Of1999– Guía para la validación de métodos de ensayo – Principios y conceptos generales
5 Procedimiento de validación
5.1 Los laboratorios de ensayo y los organismos de acreditación deben contar con procedimientos y directrices para planificar y controlar el proceso de validación de métodos de ensayo. Sin embargo, la discusión anterior ha indicado claramente que no puede desarrollarse un procedimiento único. En consecuencia, tiene que desarrollarse una gama de diferentes alternativas de técnicas de validación. Cuán detallada deba ser la validación, depende de las circunstancias (necesidades, costos, posibilidades, riesgos, etc.).
DOCUMENTO A, 0/2DOCUMENTO A, 0/2 de la Soc. Española de de la Soc. Española de Bioq. Clín. y Patología MolecularBioq. Clín. y Patología Molecular
SOBRE RESPONSABILIDADES EN LA OBTENCIÓN DE EVIDENCIA OBJETIVA DE LA VALIDACIÓN DE MÉTODOS NORMALIZADOS:
El Laboratorio Clínico debería establecer requisitos y verificar, al menos las siguientes características metrológicas:
1.-Error sistemático (sesgo). El fabricante del calibrador deberá proporcionar la trazabilidad y la incertidumbre del valor asignado. Deberá proporcionar datos sobre la veracidad de los resultados. Sin embargo, el Laboratorio debería obtener sus evidencias que el proceso proporciona resultados satisfactorios.
2.-Interferencias (magnitudes influyentes). El fabricante deberá proporcionar la información de las interferencias.
SOBRE RESPONSABILIDADES EN LA OBTENCIÓN DE EVIDENCIA OBJETIVA DE LA VALIDACIÓN DE MÉTODOS NORMALIZADOS:
3.-Imprecisión interdiaria (reproducibilidad). Responsabilidad Laboratorio.
4.-Límite de detección. El fabricante deberá propocionar especificaciones de imprecisión, sensibilidad y límite de detección. El Laboratorio debería estudiar el límite de detección cuando observa diferencia.
5.-Contaminación
6.-Verificar dilución
DOCUMENTO A, 0/2DOCUMENTO A, 0/2 de la Soc. Española de de la Soc. Española de Bioq. Clín. y Patología MolecularBioq. Clín. y Patología Molecular
Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de
MétodosMétodos
(JCAHO, Joint Commission for Accreditation of Healthcare Organizations; CAP, College of American Pathologists ; COLA, Commission on Office
Laboratory Accreditation)
Recomendación de validación de métodos de acuerdo a la complejidad de la prueba o determinación:
-Pruebas de mínima complejidad (waived tests). No hay recomendación para la validación de método. Seguir directrices del fabricante.
-Pruebas de moderada y alta complejidad (Non-Waived tests) aprobados por el FDA los estudios de validación de métodos deberian seguir las siguientes recomendaciones:
-Verificar los parámetros de calidad o especificaciones de desempeño (demostrar resultados comparables a los establecidos por el fabricante):
-Exactitud
-Precisión
-Rango de los resultados analíticos reportado por el método
-Verificar que los intervalos de referencia del fabricante son apropiados para la población de pacientes del laboratorio.
Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de
MétodosMétodos
(JCAHO, Joint Commission for Accreditation of Healthcare Organizations; CAP, College of American Pathologists ; COLA, Commission on Office
Laboratory Accreditation)
-Pruebas de moderada y alta complejidad (Non-Waived tests) aprobados por el FDA
Actividades a realizar por el laboratorio:
-Comparación de métodos para estimar la inexactitud o sesgo.
-Replicar muestra o control para estimar la imprecisión
-Hacer estudio de linealidad para estimar el
rango de la determinación reportado por el fabricante
-Obtener valores de referencia para verificar intervalo de referencia indicado por el fabricante
Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de
MétodosMétodos
(JCAHO, Joint Commission for Accreditation of Healthcare Organizations; CAP, College of American Pathologists ; COLA, Commission on Office
Laboratory Accreditation)
-Pruebas de moderada y alta complejidad (Non-Waived tests) modificados o desarrollados en el laboratorio, la validación de los métodos requiere:
-Exactitud
-Precisión
-Sensibilidad analítica
-Especificidad analítica, incluyendo el estudio de sustancias interferentes
-Rango de los resultados analíticos reportado por el método
-Intervalo de referencia (valores normales)
-Cualquier otro parámetro requerido para el desempeño del método
Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de
MétodosMétodos (JCAHO, Joint Commission for Accreditation of Healthcare Organizations;
CAP, College of American Pathologists ; COLA, Commission on Office Laboratory Accreditation)
-Pruebas moderada y alta complejidad (Non-Waived tests) modificados o desarrollados en el laboratorio
Actividades a realizar por el laboratorio:
-Comparación de métodos para estimar la inexactitud o sesgo.
-Replicar muestra o control para estimar la imprecisión
-Hacer estudio de linealidad para estimar el rango a reportar
-Límite de detección para estimar interferencias permanentes
-Experimentos de recuperación para estimar proporción de interferencias
-Obtener valores de referencia para estimar el intervalo de referencia
Reglas CLIA Reglas CLIA ((Clinical Laboratory Improvement AmendmentsClinical Laboratory Improvement Amendments)) Regulación Validación de Regulación Validación de
MétodosMétodos (JCAHO, Joint Commission for Accreditation of Healthcare Organizations;
CAP, College of American Pathologists ; COLA, Commission on Office Laboratory Accreditation)
Métodos Cualitativos y/o Métodos Cualitativos y/o SemicuantitativosSemicuantitativos
• En los laboratorios de análisis se generan cada vez más mediciones que dan respuesta rápidas de tipo cualitativo.
• Respuesta de tipo binario: Si / No .• Presencia o ausencia de determinado analito.
• Presencia o ausencia de un determinado nivel del analito.
• Se denominan sistemas de “screening”.
Sistemas de Sistemas de ScreeningScreening
• Muchas veces se utilizan como una etapa previa para luego realizar un análisis cuantitativo y confirmatorio.
• Evita análisis cuantitativos a muestras que dan negativo.
• A nivel microbiológico generalmente en identificación bacteriana son diagnósticos y no presuntivos.
Análisis CualitativoAnálisis Cualitativo
Sistema de tamizaje
(screening)
Sistema de tamizaje
(screening)
Análisiscuantitativo
Análisiscuantitativo
No se analiza
No se analiza
> 2 ng/mL
< 2 ng/mLNO
SI
•Menor experimentación.Menor experimentación.
•Decisión rápida.Decisión rápida.
•De fácil manejo, portátiles, etc. De fácil manejo, portátiles, etc.
•Sin necesidad de equipos.Sin necesidad de equipos.
•Ahorro.Ahorro.
Presencia del analito
Ausencia del analito
Método Confirmatorio
Sistemas de Medida CualitativosSistemas de Medida Cualitativos
Análisis cualitativo clásico o sensorial:Color: cambio, aparición.Olor.Turbidez.ELISA.Crecimiento bacteriano.
Detección instrumental:UV: fluorescencia, potenciometría.Sensores: químicos, bioquímicos, etc.ELISA.
Análisis Cualitativo Clásico o Análisis Cualitativo Clásico o SensorialSensorial
• La respuesta binaria SI / NO se obtiene directamente.
• En general la presencia del analito se determina por comparación con un blanco. • Pruebas baterías bioquímicas
• Se encuentran también las pruebas de Kits.• Son dispositivos comerciales para pruebas concretas.
• Contienen todos los reactivos necesarios.
• Pueden contener algún instrumento sencillo.
• Pruebas de kits:• Látex para serotipificar Streptococcus.
• Tiras de orina.
• Pruebas rápidas para meningitis bacterianas.
• API.
• Método de CIM por microdilución en microplacas.
• Coaglutinación.
• Método ELISA rápido para detección C. difficile
Análisis Cualitativo Clásico o Análisis Cualitativo Clásico o SensorialSensorial
• La determinación se hace mediante una medida instrumental: • Colorimetría.
• Fluorescencia.
• La presencia o no de un determinado analito puede ser el nivel límite de detección o a un nivel superior.
Análisis Cualitativo SensorialAnálisis Cualitativo Sensorial
• La respuesta instrumental que se obtiene se transforma en respuesta binaria SI/NO e implica un tratamiento de datos.
• Primero hay que establecer la respuesta instrumental: • Valor de absorbancia para la concentración correspondiente.
• Si el valor es superior la respuesta es Si.
• Ej. Métodos automatizados para Hemocultivos.
• Ej. Métodos automatizados para CIM.
• Ej. Estandarización automatizada a 0,5 MF.
Análisis Cualitativo SensorialAnálisis Cualitativo Sensorial
Método de ELISA Método de ELISA
• Método Semicuantitativo.Semicuantitativo.
• Se basan en una reacción inmunológica.
• La detección puede ser sensorial o instrumental.
• Ej. Bacterias: C. difficile, E. coli .
• Ej. Virus: Hepatitis, SIDA, Sarampión, etc.
• Ej. Parásitos: Chagas
• Autoinmunidad: ENA, AAN, DNA, etc.
• Métodos cualitativos también deben validarse.
• Validar consiste en verificar y documentar su validez a requisitos específicos.
• La validación implica como etapa previa la definición de los requisitos analíticos o de calidad.
• Luego entonces la determinación de estos requisitos.
• Los resultados se expresan diferente a los métodos cuantitativos.
Validación Métodos Cualitativos Validación Métodos Cualitativos
Métodos Cualitativos Análisis Cualitativo / screening
SI / NO Con probabilidad
de error También tiene dos valores el primero binario y el
segundo es la probabilidad de error asociada a la decisión tomada.
Se expresan en términos probabilísticos.
Expresión de ResultadosExpresión de Resultados
Requisitos de CalidadRequisitos de Calidad
Método Cuantitativo Método Cualitativo
Linealidad. - Homogeneidad. Precisión: - Repetibilidad. - Reproducibilidad. - Robustez. Veracidad (exactitud). Incertidumbre. Limite de detección. Límite de cuantificación. Rango de cuantificación Selectividad e Interferentes.
Especificidad. Sensibilidad. Valor predictivo positivo (VPP). Valor predictivo negativo (VPN). Exactitud diagnóstica. Límite de corte (cut-off). Incertidumbre o región de error. Límite de detección. Robustez.
EspecificidadEspecificidad
• Se define como la capacidad o habilidad del sistema de detectar en forma exacta un analito en una matriz.
• Proporción de muestras negativas (no reactivas) que son correctamente identificadas.
• Generalmente se expresa como probabilidad.
Analito presente
Analito ausente
Método positivo
Verdaderos positivos (VP)
Falsos positivos (FP)
Métodonegativo
Falsos negativos (FN)
Verdaderos negativos (VN)
Proporción de muestras sin el analito, cuyo método es negativo:
E = VN / (VN + FP)E = VN / (VN + FP)
Especificidad (E)Especificidad (E)
• Es la capacidad o habilidad del sistema de detectar muestras positivas cuando realmente lo son.
• Proporción de muestras positivas o reactivas correctamente identificadas por la prueba.
• Generalmente se expresa como probabilidad.
• Concentración de un analito necesaria para producir una unidad de cambio de lectura instrumental.
SensibilidadSensibilidad
Analito presente
Analitoausente
Método positivo
Verdaderos positivos (VP)
Falsos positivos (FP)
Método negativo
Falsos negativos (FN)
Verdaderos negativos (VN)
Proporción de muestras que contiene el analito cuyo método es positivo:
S = VP / (VP+FN). S = VP / (VP+FN).
Sensibilidad (S)Sensibilidad (S)
Falsos Negativos (FN)Falsos Negativos (FN)
• Desviación negativa.
• El método a validar da un resultado negativo y el método de referencia da positivo.
• Probabilidad de que la muestra conocida como positiva, dé como negativa por el método.
• Corresponden a muestras que contienen uno o más analitos por encima del valor límite permitido y que en prueba de screening dan respuesta negativa.
• Se concluye con este resultado previo que la muestra no contiene el analito en los niveles fijados cuando si lo contiene.
• Desviación positiva.
• Probabilidad de que la muestra clasificada como negativa, dé como positiva por el método.
• Corresponden a aquellas muestras que realmente no contienen el analito en el nivel definido y que por Ej. la prueba de screening lo detecta.
• Se produce cuando el método a validar proporciona un resultado positivo sin confirmación y el método de referencia da un resultado negativo.
Falsos Positivos (FP)Falsos Positivos (FP)
Exactitud DiagnósticaExactitud Diagnóstica
• Proporción de resultados correctos (verdaderos positivos + verdaderos negativos).
• Capacidad para detectar correctamente los positivos y los negativos.
• Es el grado de concordancia entre el resultado obtenido en un ensayo y el valor de referencia que debiera obtenerse.
Analito presente
Analitoausente
Métodopositivo
Verdaderos positivos (VP)
Falsos positivos(FP)
Métodonegativo
Falsos negativos(FN)
Verdaderos negativos (VN)
Proporción de resultados correctos :ED = (VP+VN) / (VP+FP+VN+FN)ED = (VP+VN) / (VP+FP+VN+FN)
Exactitud Diagnóstica (ED)Exactitud Diagnóstica (ED)
Criterio de Exactitud DiagnósticaCriterio de Exactitud Diagnóstica
El mejor criterio actual para establecer la presencia o ausencia de la condición (enfermedad), evento o característica de interés usando un método simple o una combinación de métodos de laboratorios que incluyan, pruebas de imagen, patológicos, información clínica, ensayos o paneles de referencia.
Límite de Corte o Límite de Corte o Cut-offCut-off
• Limite de cuantificación??
• Número mínimo de microorganismos dentro de una variabilidad definida que pueden determinarse bajo las condiciones experimentales del método evaluado.
• Aplicado a análisis microbiológicos cuantitativos.
• Relacionado a la sensibilidad, corresponde al nivel de concentración donde la sensibilidad es un 95% y la probabilidad de error tipo β es de un 5%.
Resultados métodos
Pacientes “negativos”
Pacientes “positivos”
Límite de Corte (Límite de Corte (cut-offcut-off))
Definiciones de Requisitos de Definiciones de Requisitos de CalidadCalidad
• Valor del Límite de Corte (cut-off). Valor de corte del método, dado principalmente por el fabricante, sobre el cut-off resultados positivos y bajo cut-off, resultados negativos. Se basa en una dicotomía (presencia/ausencia, si/no, etc.).
C= 2ng/mL
• Región de Incertidumbre. Corresponde a la imprecisión del método, es un rango donde encontramos error Tipo I o α (Falsos positivos) y Tipo II o β (falsos negativos) del método.
C= 2ng/mLα β
Definiciones de Requisitos de Definiciones de Requisitos de CalidadCalidad
• Región de Incertidumbre (*CLSI: EP12-A2):
• C50: Concentración del analito donde se produce un 50% de resultados positivos y un 50% de resultados negativos.
• Intervalo C5 – C95: Rango de concentraciones requeridas del analito donde a concentraciones < de C5, son resultados concretamente negativos y > C95 son concretos positivos.
Verdaderamente Negativas. Verdaderamente Positivas.C50
Definiciones de Requisitos de Definiciones de Requisitos de CalidadCalidad
Límite de DetecciónLímite de Detección
• Cantidad mínima de analito que puede ser detectado en una muestra pero que no puede ser estimado con precisión o sea que no necesariamente es cuantificado en las condiciones del ensayo.
• Aplicado a análisis microbiológicos cualitativos.
• Los resultados se expresan como detectado / no detectado.
RobustezRobustez
Efecto Matriz:Efecto Matriz:Capacidad de un procedimiento de permanecer
inalterado por pequeñas pero deliberadas variaciones en los parámetros del método y provee información de su comportamiento en la rutina.
Identificar variables que pueden tener efectos significativos en la respuesta del método.
Analizar cada set en condiciones experimentadas dadas y determinar el efecto de cada cambio.
Efectos congelado/descongelado, tiempos y temperaturas de incubación, cambios pH, preparación y conservación de la muestra y reactivos.
Resumen: Definiciones Requisitos Resumen: Definiciones Requisitos de Calidadde Calidad
• Especificidad. Proporción de muestras negativas (no reactivas) que son correctamente identificadas.
• Sensibilidad. Proporción de muestras positivas o reactivas correctamente identificadas por la prueba.
• Falso Positivo. Probabilidad de que la muestra clasificada como negativa, dé positiva por el método.
• Falso Negativo. Probabilidad de que la muestra conocida como positiva, dé negativa por el método.
• Valor Predictivo Positivo. Probabilidad que tiene una muestra de ser realmente positiva, cuando el resultado de la prueba resulta reactivo.
• Valor Predictivo Negativo. Probabilidad que tiene una muestra de ser negativo, cuando el resultado de la prueba es no reactivo.
• Exactitud diagnóstica analítica. Capacidad del método para detectar correctamente los positivos y los negativos.
ObservacionesObservaciones
• Hay pruebas en las que tiene un impacto a nivel de Salud Pública además de individual al dar un resultado Falso (+) o Falso (-)
• Ej. VIH, HEP. B
• En resistencia antibiótica es de mayor impacto los falsos negativos, o sea informar como sensible cuando es resistente.
• De mayor trascendencia también en Falsos (-):
• Hemocultivos, meningitis, resistencia antibiótica, VIH, etc.
Método ideal Método ideal
‘Normal’ Enfermo
Valores método
No falsos positivos o negativos
Nr
de i
nd
ivid
uos
Realidad MétodosRealidad Métodos
Normal, sin el analito Enfermo, con el analito
ValoresMétodo
+2SD
FalsosNegativos
FalsosPositivos
Nr
de i
nd
ivid
uos
Resultados métodos
Pacientes “negativos” Pacientes “positivos”
Sin enfermedadCon enfermedad
Verdaderos Positivos
Definiciones del ejemploDefiniciones del ejemplo
Resultados método
Pacientes “negativos” Patientes “positivos”
Sin enfermedadCon enfermedad
Falsos Positivos
Definiciones del ejemploDefiniciones del ejemplo
Resultados métodos
Pacientes “negativos” Pacientes “positivos”
Sin enfermedadCon enfermedad
Verdaderos negativos
Definiciones del ejemploDefiniciones del ejemplo
Resultados método
Pacientes “negativos” Pacientes “positivos”
Sin enfermedadCon enfermedad
Falsos negativos
Definiciones del ejemploDefiniciones del ejemplo
Evaluador de los requisitos de Evaluador de los requisitos de CalidadCalidad
• Tablas de Contingencia. Diferencian las muestras en dos categorías, (+)/(-) según el método, y establecen una tabla de comparación respecto del resultado obtenido mediante el criterio de exactitud diagnóstica analítica.
Criterio de exactitud diagnóstica
Prueba a Evaluar POSITIVOS NEGATIVOS Total
POSITIVOS VP FP VP + FP
NEGATIVOS FN VN FN + VN
Total VP + FN FP + VN VP + FP +FN +VN
*CLSI: EP12-A2
Tablas de ContingenciaTablas de Contingencia
• Las mas simples son las que diferencian las muestras en dos categorías : positivo o negativo.
• Luego se establece una tabla de comparación respecto al resultado obtenido con resultado de método de referencia .
• A partir de la tabla se calculan los cuatro parámetros básicos, además de otros: falsos(+), falsos(-), sensibilidad y especificidad.
Ventajas:o Son de fácil aplicación en la mayoría de los bioensayos.
Desventajas:o Dan una medida global de la capacidad del método.o Se estima que la muestra se comportará
estadísticamente de forma similar a las ya analizadas.o No se calcula una probabilidad de error en cada
muestra en particular.o La capacidad de la tabla depende del número de
muestras analizadas.
Tablas de ContingenciaTablas de Contingencia
• Teorema de Bayes. Calcula la probabilidad de dar verdadero (positivo o negativo) un resultado cuando en realidad lo es, vale decir, probabilidad que ocurra el evento A dado el evento B.
P(VPP) = P(p/a)* P(a) /P(p/a)*P(a)+P(p/b)*P(b) P(VPN) = P(n/a)*P(a)/P(n/a)*P(a)+P(n/b)+P(b)
P(a): prob. de obtener un resultado positivoP(b): prob. de obtener un resultado negativoP(p/a): prob. de obtener un resultado (+)
cuando esta presente la enfermedad.P(p/b): prob. de obtener un resultado (+)
cuando no esta presente la enfermedad.
Evaluador de los requisitos de Evaluador de los requisitos de CalidadCalidad
• Curvas ROC (Receiver Operating Characteristic o Curvas de Operatividad Relativa). Se generan al evaluar las modificaciones en la sensibilidad y especificidad que son resultantes de la modificación que se haga en los niveles de corte, de acuerdo al proceso de decisión clínica para un analito determinado.
* A. Pulido, I. Ruisánchez, R. Boqué , F.X. Rius
Evaluador de los requisitos de Evaluador de los requisitos de CalidadCalidad
Sensibilidad vs. Especificidad.
0
20
40
60
80
100
0 20 40 60 80 100ESPECIFICIDAD (Fracción verdaderos
negativos)
SE
NS
IBIL
IDA
D
(Fra
cci
ón
ve
rda
de
ros
po
sit
ivo
s)
0
20
40
60
80
100
0 20 40 60 80 100
1-ESPECIFICIDAD (Fracción falsos positivos, FFP)
SE
NS
IBIL
IDA
D
(Fra
cc
ión
ve
rda
de
ros
po
sit
ivo
s)
Sensibilidad vs. 1- Especificidad.
Lectura de las Curvas ROCLectura de las Curvas ROC
* http://ludwig-sun2.unil.ch/~darlene/module4/
PROTOCOLO DE VALIDACIÓN DE UN PROTOCOLO DE VALIDACIÓN DE UN MÉTODO ANALÍTICOMÉTODO ANALÍTICO
-Identificación-Titulo-Protocolo redactado por-Protocolo aprobado por-Objetivo -Alcance-Factores críticos-Selección y tratamiento muestra y MRC-Identificación equipo: certificado calibración-Método analítico:-Variables a determinar : análisis estadístico-Personal que desarrollará la validación-Criterio de aceptación para cada parámetro de desempeño-Conclusiones-Registros-Referencias
INFORME DE VALIDACIÓN DE UN INFORME DE VALIDACIÓN DE UN MÉTODO ANALÍTICOMÉTODO ANALÍTICO
-Identificación-Titulo-Informe redactado por-Informe aprobado por-Objetivo -alcance-Responsabilidad-Equipo, materiales, documentos-Procedimiento-Cálculos y análisis estadísticos-Criterio de aceptación vs Resultados-Informe de desviaciones-Informe resultados y conclusiones de validación del método
Cuándo Verificar y cuándo Validar???Cuándo Verificar y cuándo Validar???
VALIDARVALIDAR VERIFICARVERIFICAR