III- Construcción y clasificación de indicadores

INDICADORES PARA LA TOMA DE DECISIONES:Construcción y clasificación de indicadores

INDICADORES PARA LA TOMA DE DECISIONES:Construcción y clasificación de indicadores

Unidad de Servicios EstadísticosCursos de Educación Continua

Escuela de EstadísticaUNIVERSIDAD DE COSTA RICA

Olman Ramírez Moreira, M.Sc.

Mayo 2010

ORM-USES 2010 2

Contenido de la sesión Contenido de la sesión

5.1 Decisiones al construir indicadores y validación 5.2 Clasificación de indicadores: según

Expresión de su valorCapacidad de mediciónTemáticaCumplimiento de objetivosAvance de accionesDesempeño de la organización

5.3 Sintaxis redacción de indicadores 5.4 Macrodato de indicadores

ORM-USES 2010 3

CIFRAS ABSOLUTAS: informan de características particulares. Ej. Monto invertido en Educación en 2004

RAZONES: relaciona dos números positivos de un mismo o diferente universo de datos. Ej. Densidad de población

PROPORCIONES: destacan aspectos de distribución. Ej: relación de dependencia

PORCENTAJES: constituyen proporciones o razones amplificadas para facilitar comparaciones e interpretaciones. Ej: Porcentaje de desocupados

PROMEDIOS Y OTRAS MEDIDAS ESTADÍSTICAS: representan comportamientos típicos. Ej. Ingreso mensual promedio familiar

TASAS: muestran evolución o comportamiento de un fenómeno en un periodo de tiempo. Ej. Tasa anual de crecimiento de los delitos

INDICES: sintetizan y cuantifican relaciones y procesos complejos, miden el cambio combinado de un conjunto de variables. Ej. Esperanza de vidaT

IPO

S D

E I

ND

ICA

DO

RES

ORM-USES 2010 4

PARA ANALISIS ESTADÍSTICO

PREFERIMOS INDICADORES QUE...

¨ Se acerquen, lo más posible al nivel de medición de razón

¨ Que tengan “buena” variabilidad, que nos permitan diferenciar entre los sujetos u unidades de análisis

ORM-USES 2010 5

Evaluando la calidad de los datos a utilizar

PASO 1: Estudio de la fuente de información

Sobre la recolecciónRegistro, censo, muestraTipo de muestreoPoblación de estudioDefinicionesCapacitación del personal responsable de la recolecciónControles

ObjetividadIntereses creados

PASO 2: Análisis de la serie de datos

TendenciasPicos, vallesCambios bruscos en la tendencia

RelacionesComportamiento conjunto

Valores esperadosLiteratura, juicios, experiencias previas

Los indicadores deberían:Los indicadores deberían:

Tener requerimientos razonables de los datos (datos disponibles o que pueden recolectarse a bajo costo y dentro de las capacidades institucionales del país)

Ser relevantes a los usuarios Estar limitados a una pequeña cantidad Reflejar las causas, procesos o

resultados (o como se indica en la literatura, reflejar presiones, estados y respuestas)

ORM-USES 2010 6

DESARROLLO DE INDICADORES

DESARROLLO DE INDICADORES

Basarse en:

Datos disponibles Necesidades de

información de los tomadores de decisiones

Prioridades de política

ORM-USES 2010 7

Deberían:

Desarrollarse dentro de un marco conceptual aceptadoSer claramente definidos y fáciles de entenderSe sujetos a la agregación (del hogar a la comunidad, de la comunidad al país)Ser objetivos (independientes del recolector de datos)

ORM-USES 2010 8

Revisión bibliográfica Adopción de

Un modelo

Orientar todo el trabajoPrevenir los errores cometidos en

otros estudiosDefinir líneas y áreas de investigaciónProveer un marco de referencia para

interpretar los resultados

Etapas elaboración del marco teórico

¿Qué otros esfuerzos se han hecho para medirlo? ¿En qué contextos? ¿Qué definición se usó? ¿Qué variables se

incluyeron?

Función del marco conceptualFunción del marco conceptual

Especifica qué es lo que se desea transmitir a los otros mediante los indicadoresEvita la confusión que nace del lenguaje coloquialPermite una comunicación precisaEstablece los términos importantes en el desarrollo del trabajoDescribe las dimensiones y subdimensiones teóricas del concepto que se desea medirSustenta la validez de los indicadores

ORM-USES 2010 9

Definición conceptualDefinición conceptual

Los indicadores miden conceptos

Concepto: contenido figurativo designado por términos concretoses el conocimiento que no es percibido directamente por los sentidoses la idea

• La definición conceptual cumple dos funciones:

Ordenar: determina lo que debe ser observado o investigadoComunicar: permite la transmisión precisa de los resultados

ORM-USES 2010 10

Proporciona las indicaciones precisas para decidir si se está o no ante una manifestación del fenómeno designado por el concepto

Esta definición se sustenta en el referente empírico del concepto

Definición operacionalDefinición operacional

Operacionalizando …Operacionalizando …

Definición conceptual. Adopción de un modelo ¿Qué se entiende

por …? ¿Qué aspectos de

… comprende? ¿Qué aspectos no

se incluyen?

ORM-USES 2010 11

Definición operacional

¿Qué variables deberían medirse?

¿Cómo deberían medirse?

¿Cómo se reconoce un … ?

ORM-USES 2010 12

Evaluar insumos, proceso y

resultados en torno a:

Eficiencia y eficacia de la gestión.

Los cambios buscados en una política

específica.

El alcance de los objetivos.

El desempeño en la ejecución de las

tareas.

Es un insumo en la toma de decisiones.

¿QUÉ PERMITEN LOS INDICADORES?

ORM-USES 2010 13

SEGÚN LA EXPRESIÓN DE SU VALOR

SEGÚN LA EXPRESIÓN DE SU VALOR

CUANTITATIVOSCUANTITATIVOS Medidos en términos numéricos (cantidad).

Expresan numéricamente la magnitud del fenómeno.

Medición directa o compleja

Ejemplos

Porcentaje niños atendidos por el programa

Número de bonos de vivienda otorgados

Tiempo promedio de trámite

CUALITATIVOSCUALITATIVOS Expresan el fenómeno en forma nominal u ordinal

Presencia/ausencia, percepciones, opiniones

Asociados a conceptos no medibles directamente

Ejemplos:

Nivel de satisfacción con el servicio

Calidad del trato al cliente

CLA

SIF

ICA

CIÓ

N

DE

LO

S

IND

ICA

DO

RES

ORM-USES 2010 14

Directos (simples)Medida directa y únicaUsualmente con valores absolutosEjemplos: Número de consultas en odontología en el 2009 Casos diagnosticados de cáncer durante 2009

Indirectos (complejos)No puede medirse directamente o es muy costoso hacerloCombinan más de un dato simpleBrindan más información que un indicador simple Índice de rendimiento médico especializado Calidad de los informes presentados

CLA

SIF

ICA

CIÓ

N

DE

LO

S

IND

ICA

DO

RES SEGÚN LA CAPACIDAD DE

MEDICIÓNSEGÚN LA CAPACIDAD DE

MEDICIÓN

ORM-USES 2010 15

PRESIÓN

ESTADO

IMPACTO

RESPUESTA

Monitorean causas de los problemas

Hacen seguimiento de condiciones, prácticas y

actividades

Captan el efecto de la actividad humana

Hacen seguimiento de las medidas y respuestas de la

sociedad al impacto causado

Permiten separar causas que explican los impactos esperados

CLASIFICACIÓN TEMÁTICA

CLASIFICACIÓN TEMÁTICA

ORM-USES 2010 16

CLASIFICACIÓN DE INDICADORES

según cumplimiento objetivos

CLASIFICACIÓN DE INDICADORES

según cumplimiento objetivos

E F I C A C IA

E F I C I E N C I A

E F E C T I V I DA D

Miden el cumplimiento de los objetivos. Es la relación

objetivos/resultados bajo condiciones ideales

Miden la utilización de los recursos en función del

cumplimiento de los objetivos. Es la relación

recursos/resultados bajo condiciones reales

Miden los efectos obtenidos con los resultados. Es la relación

efectos/resultados bajo condiciones reales

ORM-USES 2010 17

SEGÚN AVANCE DE ACCIONES (ENFOQUE DE SISTEMAS):

SEGÚN AVANCE DE ACCIONES (ENFOQUE DE SISTEMAS):

CLA

SIF

ICA

CIÓ

N

IND

ICA

DO

RES

INSUMOS PROCESOS

PRODUCTOS

EFECTOS

IMPACTOS

RESULTADOS

ORM-USES 2010 18

INSUMOS / DE ENTRADA

INSUMOS / DE ENTRADA

Recursos empleados en el proceso productivo con la finalidad de transformarlos en un resultado

Demandas o necesidades

Disponibilidad y accesibilidad, todo lo requerido para obtener el producto

Ejemplo: número de citas solicitadas en cardiología durante enero 2010

PROCESOSPROCESOS Acciones ejecutadas con los insumos definidos para producir un bien o servicio.

Desempeño organizacional

Forma e intensidad con que se usan los recursos disponibles

Pueden ser procesos sustantivos, de apoyo o complementarios.

RESULTADO /DE SALIDARESULTADO /DE SALIDA

Efecto de lo que se hace

Calidad, cantidad, efectividad

Resultado de la ejecución de políticas, desarrollo de proyectos o prestación de servicios

Ejemplo: satisfacción con servicios recibidos en el área educativa

DEFIN

ICIO

NES

DEFIN

ICIO

NES

ORM-USES 2010 19

PRODUCTOSPRODUCTOS Bien o servicio obtenido mediante el desarrollo de un proceso

Culminación del proceso correspondiente de la institución. Lo último bajo su control.

Concepto de servicio entregado

EFECTOSEFECTOS

Consecuencia del uso de los productos sobre la población beneficiada. Resultado de una acción.

IMPACTOSIMPACTOS Consecuencia de los efectos de un proyecto, programa o política sobre la

población objetivo y/o población total. Su presencia evidencia cambios importantes en la tendencia histórica.

Cobertura, efecto del uso del servicio

Repercusión.

Ejemplo: porcentaje de estudiantes solicitantes que logran ingresar a las universidades públicasD

EFIN

ICIO

NES

DEFIN

ICIO

NES

ORM-USES 2010 20

SEGÚN EL DESEMPEÑO DE LA ORGANIZACIÓN

SEGÚN EL DESEMPEÑO DE LA ORGANIZACIÓN

GESTIÓNGESTIÓN Indican el grado de cumplimiento con respecto a lo que se ha

planeado previamente

Inductores del proceso, se le puede identificar como “biopsias”

RESULTADOSRESULTADOS Indican el efecto que se ha logrado al desarrollar lo que

anteriormente se ha planeado

IMPACTO: “autopcias”

RESULTADOS INTERMEDIOS

CLA

SIF

ICA

CIÓ

N

DE

LO

S

IND

ICA

DO

RES

ORM-USES 2010 21

PROCESOS PRODUCTOSEFECTOS/ IMPACTOS

Cobertura

Efecto / uso del producto

Cantidad

Calidad

Eficacia/efectividad

Productivdad

Productosintermedios

Capacidadejecutora

Eficiencia

Economía

SEGÚN DESEMPEÑO

CLASIFICACIÓN INDICADORES

ORM-USES 2010 22

Productos ¿Qué bienes y servicios se brindan a los clientes

(población)?

Efectos ¿Cómo se resolvió el problema? ¿Cuál es la consecuencia del uso del producto? ¿A qué porcentaje de la población objetivo se cubrió?

Impactos ¿Cuáles son las variaciones esperadas de la variable a nivel

de la población objetivo y/o población total?

INTERROGANTES TÍPICAS

ORM-USES 2010 23

i. De productividad: relacionan servicios prestados con insumos requeridos. Ej. Alumnos por docente

ii. De productos intermedios: miden bienes y servicios intermedios dentro del proceso productivo. Ej. Plazo para elaborar reglamento

iii. De cumplimiento programación presupuestaria o capacidad ejecutoria: capacidad institucional de ejecución, relaciona lo iniciado con lo finalmente concluido. Ej. Relación del gasto ejecutado con el programado

iv. De eficiencia: grado de optimización del resultado obtenido en relación con los recursos empleados. Ej. Costo promedio por graduado.

v. De economía: informan sobre minimización de costos de recursos empleados. Ej. % de ahorro en cambios-sustitución de recursos

Miden aspectos del proceso productivo de la institución. Se refieren al desempeño institucional a fin de producir los resultados esperados.

I. DE PROCESO

ORM-USES 2010 24

i. De calidad: miden la capacidad de cumplir adecuadamente con los requisitos de satisfacción del producto esperado por los usuarios (rapidez, comunicación, capacidad de respuesta, oportunidad, accesibilidad, precisión, plazos, confiabilidad). Ej. Tiempo trascurrido entre solicitud del estudio y atención

ii. De cantidad: cuantificación de los bienes y servicios producidos por la institución. Ej. Número de personas capacitadas

iii. De eficacia o efectividad: mide el logro de lo propuesto, relacionando lo realizado y lo programado. Ej. Bonos otorgados entre bonos programados

Miden los resultados concretos en la ejecución de políticas o proyectos evaluados en cantidad y calidad (del bien o servicio brindado)

II. DE PRODUCTO

ORM-USES 2010 25

i. De cobertura: miden el alcance logrado con los productos respecto a la población objetivo (área geográfica o grupo objetivo –edad, nivel socioeconómico, etc). Ej. % población infantil vacunada

ii. De efecto del uso del producto: miden la capacidad de los productos institucionales de influir en la mejora de la población beneficiaria. Ej. % desocupados atendidos por el programa que consiguieron trabajo.

Miden consecuencias del uso de los productos en la población beneficiaria, contribuciones en la resolución directa de problemas y necesidades del grupo.

III. DE EFECTOS/ IMPACTOS

ORM-USES 2010 26

Porcentaje de cobertura de jóvenes post primariaNúmero de desertores de secundaria que ingresan al programa "Nuevas oportunidades para jóvenes"Indice de deserción en III ciclo y educación diversificada diurna

Tasa de escolaridad en preescolarNúmero de niños y niñas incorporadas al program materno infantilÏndice de deserción en I y II ciclo

Número de instituciones educativas que ofrecen menú con dieta fortificada en el comedor escolarNúmero de estudiantes beneficiados con programa informática educativa

Número de estudiantes beneficiados con programa de becas para estudiantesPorcentaje de becas otorgadas a estudiantes que residen en cantones de bajo desarrollo socialNúmero de nuevos pupitres distribuidosCantidad de niños y niñas beneficados que recibieron bono para la educaciónAulas financiadas

Cantidad de niños(as) y adolescentes con necesidades especiales integradas al aula regular

Número de estudiantes que reciben Educación Cívica en III ciclo y educación diversificada

AUMENTO COBERTURA Y FORTALECIMIENTO DE LAS CONDICIONES DE EXCELENCIA PARA LA

EDUCACIÓN EN III CICLO Y EDUCACIÓN DIVERSIFICADA

PROMOCIÓN DE LAS CONDICIONES DE EQUIDAD EN EL SISTEMA EDUCATIVO

FORTALECER EL PROGRAMA DE FORMACIÓN DE VALORES

FORTALECER EL PROGRAMA DE INTEGRACIÓN DE LA POBLACIÓN CON NECESIDADES

EDUCATIVAS ESPECIALES AL SISTEMA REGULAR

MEJ ORAMIENTO DE LA CALIDAD DE LA EDUCACIÓN PREESCOLAR I Y II CICLO

INDICADORES DE DESEMPEÑO

MINISTERIO DE EDUCACIÓN PÚBLICA

ORM-USES 2010 27

INDICADORES DE DESEMPEÑO

INSTITUTO MIXTO DE AYUDA SOCIALASISTENCIA SOCIAL

Número de subsidios mensuales entregados a familias en condiciones de pobrezaNúmero de familias con "cupón solidario"

ATENCIÓN A LA INFANCIA

Número de menores beneficiarios con subsidiosMEJ ORAMIENTO DEL HABITAT

Número de familias en extrema pobreza beneficiadas con incentivos para el mejoramiento de viviendaNúmero de títulos de propiedad de lotes entregados

ATENCIÓN INTEGRAL PARA EL DESARROLLO DE LA MUJ ER

Número de mujeres adultas en condiciones de pobreza básica y extrema pobreza beneficiadas con el programaNúmero de madres adolescentes o adolescentes embarazadas beneficiadas con el programa

CREACIÓN DE OPORTUNIDADES ECONÓMICO LABORALES

Número de familias benefiadas con incentivo económico para la producción

SINTAXIS PARA REDACCIÓN DE INDICADORESSINTAXIS PARA REDACCIÓN DE INDICADORESLo que se está

midiendo

• Nº de niños vacunados

+

Parámetros calificadores

• Incluye: niños de 1 a 3 años que reciben la vacuna

• Excluye: niños nacidos antes del 1º enero 2008

+

ORM-USES 2010 28

Pre

gu

nta

s d

e

excele

ncia

METADATOMETADATO Datos sobre el indicador Permiten comprender mejor su pertinencia, calidad y

comparabilidad Debe estar siempre disponible para su revisión y consulta Importante que se recolecten también de las variables insumo (si

las hubiere) Elementos básicos o elementales del metadato

DefiniciónFórmula de cálculoUnidad de medidaEscala

ORM-USES 2010 29

ORM-USES 2010 30

NOMBRE Concreto, debe definir su objetivo y utilidad

FORMA DE CÁLCULO: Aclarar la fórmula matemática para el cálculo del valor, identificando los factores y

la forma como se relacionan

UNIDADES: Expresa el valor del indicador

GLOSARIO: Documentación del indicador, especifica en forma precisa los factores

relacionados en su cálculo. Incluye definiciones de esos factores y la interpretación del indicador. Puede anexar el objetivo perseguido con el indicador, la fuente de cada variable e instancias encargadas de su producción, así como detalles de cambios de definiciones, limitaciones, etc.

FICHA TÉCNICA DEL INDICADOR

Fórmula de cálculoFórmula de cálculo Debe seleccionarse de acuerdo con el uso que se le dará al indicador –

idealmente debe estar en una escala que el usuario pueda comprender fácilmente (por ejemplo, de 0 a 1). Este asunto tiene que ver con la agregación!

• Formas para lograrlo:Método del UNRISD (UN Research Inst. for Social Development) cuando se quiere que 1 represente lo deseado y 0 lo no deseado

Método de clases evaluativas (de Gutiérrez Espeleta*) El valor de la variable se califica según clases evaluativas elaboradas a partir de un ejercicio social, es decir, el valor de la variable se califica como muy bueno, bueno, regular, malo o muy malo (escala de +2, +1, 0, -1, -2) dependiendo del criterio establecido de valoración para esa variable -> de intervalar/razón a ordinal. Por ejemplo, si se tuviera tasa de mortalidad infantil, se podría tener:

ORM-USES 2010 31

Fórmula de cálculoFórmula de cálculo Se debe especificar clara y cuidadosamente en

la ficha metodológica o metadato:Con palabrasCon símbolos matemáticos

Cada tipo de indicador está asociado con una fórmula de cálculo:

Promedios, tasas, porcentajes etc. tienen una fórmula establecidaÍndices: a menudo incorporan ponderacionesMétodos multivariados

ORM-USES 2010 32

ORM-USES 2010 33

ORM-USES 2010 34

Ejemplo: Programa de atención a grupos vulnerables en indigencia

Ejemplo: Programa de atención a grupos vulnerables en indigencia

ORM-USES 2010 35

Preguntas a responderPreguntas a responder1 •¿Qué se quiere hacer?

2 •¿Con qué información disponemos?

3 •¿Cómo se derivarán los indicadores?

4 •¿Cómo se deben usar los indicadores derivados

ORM-USES 2010 36

EJEMPLO: Programa de indigenciaEJEMPLO: Programa de indigencia

META: Creación de un centro dormitorio y de valoración primaria

¿Qué se quiere medir?

¿Con qué información disponemo

s?

¿Cómo se derivan los indicadore

s?

¿Cómo se deben usar

los indicadores derivados?

Indicador de salida:Creación del centro (si/no)Equipamiento del centro (si/no)

Indicador de proceso:% avance en la creación del centro (establecido según el detalle por etapas)

ORM-USES 2010 37

EJEMPLO: Programa de indigencia


META: Creación de la base de datos de la población indigente del cantón ¿Qué

se quiere medir?

¿Con qué informació

n disponem

os?


s?


los indicadores derivados?Indicador de salida:

Construcción base de datos (si/no)

Indicador de proceso:% avance en la creación de la base de datos (establecido según el detalle por etapas)

ORM-USES 2010 38



META: Empleo municipal para 20 personas recuperadas de indigencia y adicción¿Qué

se quiere medir?


n disponem

os?


s?



Indicador de salida:Nº personas recuperadas de indigencia y adicción con empleo

Indicador de proceso:% de personas recuperadas de indigencia y adicción con empleo respecto de la meta

Indicador de impacto:% de personas recuperadas de indigencia y adicción con empleo municipal respecto de las personas indigentes del cantón

ORM-USES 2010 39



META: Sensibilización y capacitación en materia de indigencia a personal técnico y voluntario involucrado¿Qué

se quiere medir?


n disponem

os?


s?


los indicadores derivados?Indicador de impacto:

% de personas capacitadas en materia de indigencia respecto del personal técnico y voluntario vinculado con esta temática

ORM-USES 2010 40



META: Intermediación de 200 internamientos en centros de rehabilitación para población indigente

¿Qué se

quiere medir?


n disponem

os?


s?



Indicador de salida:Nº de internamientos en centros de rehabilitación

Indicador de proceso:% de personas internadas en centros de rehabilitación (con empleo respecto de la meta)

Indicador de impacto:% de personas internadas en centros de rehabilitación con respecto al total de las personas indigentes del cantón

41

Práctica: Programa de apoyo a la

educación

Práctica: Programa de apoyo a la

educación

ORM-USES 2010

ORM-USES 2010 42

EJEMPLO: Programa de apoyo a la educación

EJEMPLO: Programa de apoyo a la educación

META 1: Otorgar 400 becas a estudiantes de primaria en las escuelas de los barrios de atención prioritaria

META 5:Capacitar a 400 niños, niñas y adolescentes de centros educativos de atención prioritaria en el tema “proyectos de vida” y otros temas de interés social

META 6:Inventario de necesidades de la infraestructura de centros educativos del cantón

¿Qué se quiere medir?


n disponemo

s?


s?



Para cada una de las metas anteriores defina al menos un indicador en cada uno de los aspectos

salida, proceso y impacto

ORM-USES 2010 43

III- Construcción y clasificación de indicadores

Documents

Transcript of III- Construcción y clasificación de indicadores