NORMATIVAS - Instituto de Salud Pública de Chile · estándar describe el error sistemático o...

1

ESTADIGRAFOS APLICADOS EN EL PROGRAMA DE EVALUACIÓN EXTERNA DE LA CALIDAD (P.E.E.C.)

QF. Francisco Castro G.Sección Coordinación PEEC.Subdepartamento Coordinación Externa.

SEPTIEMBRE 2012

2

Los estadígrafos empleados en PEECestán basados en las normas:

ISO/IEC 17043:2010, Evaluación de la conformidad - Requisitos generales para los ensayos de aptitud.

ISO 13528:2005, Métodos Estadísticosusados en ensayos de aptitud paracomparación interlaboratorios.

NORMATIVAS

3

Las etapas fundamentales comunes a todo ensayo de aptitud son las siguientes (anexo B, ISO 17043):

I.- Determinación del Valor Asignado al material de control enviado en cada evaluación.

II.- Selección de los estadígrafos usados para evaluar desempeño.

III.- Calificación del desempeño de los participantes.

IV.- Evaluación de la estabilidad y homogeneidad del material de control.

NORMATIVAS

4

Definiciones:

• Valor atribuido a una propiedad particular de un material usado en un ensayo de aptitud (ISO 17043).

• Valor atribuido a una cantidad particular y aceptado, a veces por convención, que tiene una incertidumbre apropiada para un objetivo dado (ISO 13528).

•Se considera que el valor asignado es un buenestimador del valor verdadero.

I.- Valor Asignado

5

El PEEC utiliza los siguientes criterios paradeterminar el valor asignado, cabe destacarque la Norma ISO 13528 señala 3 formas.

I.1.- Valor de referencia certificado.

Determinación del Valor asignado (ISO 13.528)

6

I.2.- Valor de consenso obtenido de los laboratorios participantes.

- Estadística Robusta usando algoritmo A (método de Huber) para cálculo de valor asignado (media robusta).

- Estadística tradicional: Previo al cálculo de media se deben descartar valores extremos mediante métodos adecuados (Grubbs, Dixon, Pearson, Healey (X+/-3DS), etc.).

Determinación del Valor asignado (ISO 13.528)

7

II.- Selección de los estadígrafos para evaluar desempeño y III.- Calificación del desempeño de los participantes (ISO 17043).

1.- Desviación o Bias:D = (x – X)

Donde: x valor reportado por laboratorioX valor asignado

Desempeño (ISO 13528):|D| 2σ Satisfactorio.

2σ < |D| 3σ Cuestionable.|D| > 3σ Insatisfactorio

DETERMINACIÓN DE EVALUACIÓN Y CALIFICACIÓN DEL DESEMPEÑO

8

100 * x

x - x iDRP=

2.- Desvío Relativo Porcentual (DRP o % Sesgo) Representa el grado de desviación del resultado informado por el laboratorio con respecto al valor de consenso, expresado en porcentaje.

Se entrega el valor de DRP, en los informes de resultados P.E.E.C., sólo a modo informativo para que el laboratorio pueda calcular su error total.


9

3.- Z score (SDI, IDE): El índice de desvío estándar describe el error sistemático o desvío de un método como un múltiplo del desvío estándar observado para el grupo.

Desempeño:|Z-score| 2 Satisfactorio.

2< |Z-score| 3 Cuestionable.|Z-score| >3 Insatisfactorio


SDxscorez )x(

10

El PEEC evalúa el desempeño de laboratorio con este estadígrafo. (variables cuantitativa).

Es ampliamente usado y aceptado en los ensayos de aptitud a nivel mundial.


11

• Criterio uniforme en todas las áreastécnicas PEEC que procesan datos de variables cuantitativas.

• El desempeño de laboratorio se evalúa con el valor de z-score del par analito-método.

• Para evaluar desempeño, usando el consenso de los laboratorios, se considera un mínimo de 10 datos para calcular valor asignado y desviación estándar de evaluación.


12

SD)x(xscorez

Debido a que se utiliza el Z score y el consenso de los laboratorios, además del valor asignado, se debe determinar la Desviación Estándar paraevaluar la Aptitud.

EVALUACIÓN DE LA APTITUD

13

Desviación Estándar para evaluar la Aptitud

Definición:). Medida de la dispersiónusada en la evaluación de la aptitud, basada en la información disponible (ISO 13.528).

14

Desviación Estándar para evaluar la Aptitud (SD):

El PEEC utiliza los siguientes estadígrafospara determinar el valor de SD (Norma ISO 13528 señala 4 formas).

15

1.- Valor de consenso entre los participantes a partir de los datos obtenidos en la ronda de intercomparación.

En el PEEC es determinado usando:

Estadística Robusta: Algoritmo A (método de Huber) para cálculo del valor asignado (media robusta) y de la Desviación estándar robusta de la ronda.

x

Cálculo Desviación Estándar paraevaluar la Aptitud (SD):

16

Estadística Tradicional: Previo al cálculo de media y desviación estándar se deben descartar valores extremos mediante métodos adecuados (Grubbs, Dixon, Pearson, Healey ( +/-3DS), etc.).

Cálculo Desviación Estándar paraevaluar la Aptitud (SD):

17

• Frecuentemente no son muy satisfactorios, especialmente si hay presentes varios valores extremos. • Asumen que los datos tienen distribución normal, lo que no siempre es verdadero.

Conceptos Básicos de Estadísticametodos tradicionales para descartar

valores extremos (Grubbs, Dixon, etc):

18

Métodos para calcular Valor Asignado con el Consenso de laboratorios.

1.- Estadígrafos indicadores de tendencia central de la distribución de los datos, asociados al Valor Asignado.

1.1- Media Aritmética: Es el promedio de un grupo de datos.

Es fácil de calcular, pero es afectada por valores extremos o outliers y por asimetrías.

N

iix

Nx

1

1

Conceptos Básicos de EstadísticaMétodos para calcular Desviación Estándar

con el Consenso de laboratorios.

19

1.2.- Mediana:Es el número central de un grupo de valores cuando están ordenados secuencialmente de menor a mayor.

Fácil de calcular.-Se ordenan los datos de menos a mayor.-Si el N° de datos es impar, la mediana es el número central.-Si el N° de datos es par, la mediana es el promedio de los dos datos centrales.



20

Es preferible usar la mediana antes que la media porque es robusta, es decir no es afectada por valores extremos, y es más estable frente a distribuciones asimétricas.



21

1.3.-Moda: Es el número que más frecuentemente se repite en un conjunto de valores. También es un indicador de tendencia central.

En distribuciones normales la media, mediana y moda son iguales.

1.4.- Media Recortada: Valor obtenidomediante un método robusto en que se “recortan” o descartan la misma cantidad de valores en ambos extremos de la distribuciónpara disminuir el efecto de valores atípicos. Después se calcula la media aritmética.



22

1.5.- Media Robusta: Obtenido por métodosrobustos iterativos (Algoritmo A de la Norma ISO13528 ó método de Huber).

Cierta parte de los datos en ambos extremos de la distribución son reemplazados, previo al cálculo del promedio.

Es fácil de calcular en sistemascomputacionales, pero es afectado porasimetrías fuertes en la distribución de datos.



23

2.- Estadígrafos indicadores de dispersión de datos. La precisión se relaciona con el grado de dispersión de los valores obtenidos.

2.1.-Desviación Estándar: indica que tan próximos o precisos son los resultados de un grupo de valores



24

2.2.- Coeficiente de Variación (CV): Es útil para comparar dos o mas grupos de datos entre si.

CV % = s x 100 / x



25

2.3.- MAD: Desviación Absoluta a la mediana.Se considera como método robusto.

El MAD es una estadístico útil y adecuado para evaluar outliers o valores extremos.



26

El MAD multiplicado por el factor 1,483 es una estimación robusta, llamada desviación estándar basada en MAD (SMAD ó MAD estandarizado).

Desv. Estándar basada en MAD = SMAD = 1,483 x MAD



27



El MAD es la mediana de las diferencias absolutas.

Ejemplo:

MEDIANA MAD

415,5 14,00

RESULTADOS ABS (X-MEDIANA) ABS (X-MEDIANA)

415 415- 415,5 0,50

416 416- 415,5 0,50

418 418- 415,5 2,50

422 422- 415,5 6,50

424 424- 415,5 8,50

425 425- 415,5 9,50

397 397- 415,5 18,50

396 396- 415,5 19,50

396 396- 415,5 19,50

396 396- 415,5 19,50

440 440- 415,5 24,50

339 339- 415,5 76,50

SMAD = 1,483 x MAD



28

2.4.-Desviación Estándar Robusta.Obtenido por métodos robustos iterativos(Algoritmo A de la Norma ISO13528 o Métodode Huber).



29

Robustez y resistencia

En general (se asume una distribución normal de los datos o valores)siempre se supone distribuciónnormal, lo cual no siempre es así.

Es deseable que un método de análisis de datossea poco sensible a suposiciones de la distribución de datos.

Un método es robusto cuando sus resultados no dependen esencialmente de la distribución de los datos.

30

Un método es resistente si no es influídoconsiderablemente por datos atípicos (“outliers”)

La estadística robusta se asocia a lo que se conoce como estadística No paramétrica. Se aplica típicamente cuando no se conoce la distribución de los datos, o cuando su distribución es no normal.

Robustez y resistencia

31

• Aplicable a conjuntos de datos cuya distribuciónes semejante a la normal, y que contienenvalores extremos (ej. distribuciones unimodalesrelativamente simétricas).

• Se aplica a conjuntos de datos contaminados por “outliers”.

CARACTERISTICAS DE LA ESTADISTICA ROBUSTA

32

• El método disminuye la influencia de los valores extremos sobre las estimaciones de los estadígrafos de posición y dispersión. En método iterativos de reemplazo no se pierde la información estadística de los datos extremos, sino que se ponderan de menor manera.

• Modela de forma fiable la parte central del conjunto de datos.

CARACTERISTICAS DE LA ESTADISTICA ROBUSTA

33

34

35

36

• Ordenar datos de menor a mayor.

• Calcular la mediana y desviación estándar (desv. Estándar estandarizado =1,483*MAD) con los datos originales.

• Calcular limite superior (mediana +1,5 desv.estándar estandarizada) y límite inferior (mediana – 1,5desv.estándar estandarizada).

Algoritmo A o método de Huber

37

• Todos los datos mayores al limite superior son reemplazados por el limite superior y todos los datos menores al limite inferior son reemplazados por el limite inferior.

• Calcular nuevo valor de media (como media aritmética) y desviación estándar de los nuevos datos.


38

• Repetir o iterar el proceso, usando en cada iteración los datos originales, hasta que los valores de media y desviación estándar robusta convergan respectivamente a valores estables.

• Con los valores obtenidos de media y desviación estándar robusta se calcula el valor Z score.


39

N 12 WIN1 WIN2MEDIANA 415,5 PROMEDIO 410,780 410,547SMAD (1,483*MAD) 20,76 DESVEST 18,719 18,794U=MED+1,5*SMAD 446,643 U=PROM+1,5*DS 438,858 438,738L=MED-1,5*SMAD 384,357 L=PROM-1,5*DS 382,701 382,355

Laboratorio RESULTADOS ABS (X-MEDIANA) Z SCORE DESEMPEÑO DRP1 339 76,50 -3,79 Insatisfactorio -17,42 384,357 382,7012 396 19,50 -0,77 Satisfactorio -3,53 396,000 396,0003 396 19,50 -0,77 Satisfactorio -3,53 396,000 396,0004 396 19,50 -0,77 Satisfactorio -3,53 396,000 396,0005 397 18,50 -0,72 Satisfactorio -3,29 397,000 397,0006 415 0,50 0,24 Satisfactorio 1,10 415,000 415,0007 416 0,50 0,29 Satisfactorio 1,34 416,000 416,0008 418 2,50 0,40 Satisfactorio 1,83 418,000 418,0009 422 6,50 0,61 Satisfactorio 2,80 422,000 422,000

10 424 8,50 0,72 Satisfactorio 3,29 424,000 424,00011 425 9,50 0,77 Satisfactorio 3,53 425,000 425,00012 440 24,50 1,56 Satisfactorio 7,19 440,000 438,858

Planilla Excel

40

Se usa cuando en una evaluación se envían dos muestras que tienen distintas concentraciones de un mismo analito (hematología).

Permite evaluar el tipo de error.

Gráfico de Youden de Z-Scores

41

Si el par de datos de un laboratorio “cae” en los cuadrantes superior derecho ó inferior izquierdopredomina componente de error sistemático.

Si el par de datos de una laboratorio “cae” en los cuadrantes superior izquierdo ó inferior derechopredomina componente de error aleatorio.

Gráfico de Youden de Z-Scores

42

EVALUACION A TRAVÉS DEL TIEMPO

• SRZ: (suma reescalada de Z score). Usado en Inmunología.

SRZ = ∑Zi/ √¯nƖSRzƖ ≤ 2 Satisfactorio;

2 <ƖSRzƖ < 3 Cuestionable; ƖSRzƖ ≥ 3 No satisfactorio

Sensible a la presencia de errores sistemáticos a través del tiempo.

Se considera la implementación (Portal PEEC) de gráficos, en los informes de resultados de los laboratorios, con los valores Z de las últimas evaluaciones por analito

43

Consenso entre los participantes.

Z score para evaluar desempeño.

DRP para estimar el error sistemático.

X media robusta.

S* desviación estándar robusta.

CV coeficiente de variación.

Resumen:

44

Muchas Gracias

NORMATIVAS - Instituto de Salud Pública de Chile · estándar describe el error sistemático o...

Documents

Transcript of NORMATIVAS - Instituto de Salud Pública de Chile · estándar describe el error sistemático o...