QUE EVALUAR?
TALLER NACIONAL SOBRE EVALUACION DE IMPACTO Evaluando el Impacto de los Programas de
Desarrollo: De Promesas a Evidencias
El Salvador, 2-5 de Marzo del 210
2
¿Cómo transformar a este profesor…
3
…en éste?
QUÉ Y PARA QUÉ EVALUAR?
Evaluamos la gestión de un gobierno para medir sus resultados e impactos ante los objetivos estratégicos planteados, y para identificar los factores que facilitan o impiden una implementación exitosa.
Se evalúa su gestión, sus procesos, sus resultados, sus impactos.
Se evalúa para:Alinear acciones y estrategias para aplicar
con efectividad los recursos limitados y cumplir con los objetivos
QUÉ Y PARA QUÉ EVALUAR?
Avanzar en el proceso democrático y rendir cuentas: ¿El gasto público llega a la población objetivo? ¿Los programas se instrumentan como se tiene
dispuesto por ley ? ¿Los programas alcanzan sus objetivos?
Contar con información creíble que permita evidenciar los programas que tienen resultados, para que sean sostenibles y los blinde de acciones clientelares y partidistas para cumplir sus objetivos.
Realizar cambios a tiempo que permitan el logro de los objetivos propuestos y evitar las distorsiones riesgosas o indeseadas.
QUÉ Y PARA QUÉ EVALUAR?• Sabemos que la evidencia anecdótica no es suficiente, por
tanto necesitamos responder a preguntas específicas de los programas, tales como:– El programa está llegando a la población objetivo?– La prestación de servicios es coherente con las
especificaciones del diseño de la política/programa?– Los procesos operativos son eficientes para otorgar
la prestación de los bienes y servicios definidos en el diseño del programa?
– ¿Se puede atribuir al programa la causa de un cambio en el bienestar de la población objetivo? o ¿ existen otras causas?
– ¿De qué magnitud es el cambio?– ¿El aumento en bienestar de la población justifica el
costo del programa?– Cual es la percepción de los usuarios/beneficiarios del
programa?
Porqué un Sistema de Evaluación
Los objetivos de un SE
Es un instrumento para ayudar a la mejor
gestión
Sus objetivos son:
Guiar la toma de decisiones de la
política/programa
Rendir cuentas del uso de los recursos en
términos de resultados e impactos.
Generar acuerdos básicos sobre las lógicas
causales de una política/programa y evidenciar el
cumplimiento de objetivos.
Cómo se construye un Sistema de Evaluación?
SE = Modelo de la logica causal
de un programa, proyecto u organizacion
Definición de medidas claras y significativas: Distinción entre resultados e impactos
Medidas sostenidas con evidencia concreta confiable
Medición de resultados e impactos: cuantitativa y cualitativamente
Hacia un SE
El SE entonces:1. Permite observar la evidencia de los impactos y
resultados.
2. Permite analizar la lógica entre los esfuerzo de gestión y los gastos administrativos, como verdaderos coadyuvantes al resultado del impacto social.
3. Permite encadenar con mayor claridad y transparencia cómo los recursos presupuestarios están siendo utilizados de forma eficiente y eficaz en el alcance de objetivos y no como presas de la inercia.
4. Obliga a una percepción explicita del logro en el tiempo, definiendo riesgos tomados y aprendizajes alcanzados.
Peligros de los SE
Visión de túnel Sub-optimización Miopía
Sobre medición Error de representación
Error de Interpretación Simulación
Osificación
Falta de congruencia entre objetivos
Falla en medir fenómenos complejos
Falla de control para procesar indicadores
Falla en adaptar o ver nuevas circunstancias
EL SE Y LA CADENA DE RESULTADOS
TERMINOLOGIA
Def: resultadosEl resultado o impacto (previsto o no previstos, positivo y/o negativo) de una política o intervención
Def: cadena de resultadosSecuencia lógica que a través de un programa/intervención, transforma a inputs en outputs específicos, contribuyendo así a medir cambios en outcomes.
EL SE Y LA CADENA DE RESULTADOS
La cadena de resultados contesta 3 preguntas:
¿ QUÉ es lo que se logra con el proyecto?
¿ CÓMO se va a realizar el logro planteado?
¿CÓMO saber si ese logro se ha cumplido?
14
Cadena de resultados (en general)
Insumos
(Recursos)
• Personal
• Equipamiento
• Dinero
Actividades
(Lo que el proyecto realiza)
• Capacitación
• Promoción
• Provisión
Productos (Outputs)(Bienes y Servicios)
• Provisión de servicios
• Transferencia de recursos
Resultados (Outcomes)
• Cambios de comportamiento de los beneficios (aprendizaje, consumo, estado de la salud)
• Cambios en el bienestar de grupo objetivo
Resultados a largo plazo
• Reducción de la pobreza nacional
• Reducción de desigualdad
• Mejor productividad de la fuerza laboral
M&E Basado en ResultadosM&E Tradicional
ResultadosImplementación
EI
15
Cadena de resultados (Salud)
Insumos
(Recursos)
• Enfermeras promotores
• Equipo (material educativo, básculas, autos, etc)
• Micronutrientes/suplementos
Actividades
(Lo que el proyecto realiza)
• Capacitación de las madres
• Pesar y monitorear el peso de los niños
Productos (Outputs)(Bienes y Servicios)
• Madres con controles prenatales completos
• Aumento de la lactancia materna hasta los 6 meses
Resultados (Outcomes)
• Reducción de la desnutrición en niños
• Reducción de la mortalidad infantil
Resultados a largo plazo
• Mejor bienestar de la población
• Mayor productividad de la población
M&E Basado en Resultados
M&E TradicionalResultadosImplementación
EI
SITUACION ACTUAL
En muchos países sucede que:… tienen que elaborar muchos informes para diferentes usuariosTienen que reportar muchos indicadores
- Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones- Los indicadores miden parcialmente el desempeño de los programas
Retos de coordinación institucional
Consejo Nacional de Evaluación de la Política de Desarrollo Social
SITUACION ACTUALLos indicadores más relevantes hoy en día son:
El presupuesto asignado a cada programaEl % del presupuesto ejercido cada añoEl número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc.…además de MUCHOS otros
Pero falta medir RESULTADOS:¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?¿Los desempleados que recibieron capacitación encontraron trabajo?¿El presupuesto debe asignarse por inercia o de acuerdo a los Resultados del programa?
Consejo Nacional de Evaluación de la Política de Desarrollo Social
Consejo Nacional de Evaluación de la Política de Desarrollo Social
Componentes
Actividades
Propósito???
Imp
lem
en
taci
ón
Resu
ltad
os
Quisiéramos pasar de esto:
Fin?????
Consejo Nacional de Evaluación de la Política de Desarrollo Social
Componentes
Actividades
Propósito?Im
ple
men
taci
ón
Resu
ltad
os
… a esto:
Fin?
EL SE, LA CADENA DE RESULTADOS Y EL MARCO LOGICO
• Para el SE es una herramienta para fortalecer el diseño, la
ejecución y la evaluación de políticas/programas.
• Se sustenta en dos principios básicos: el encadenamiento
(vertical y horizontal) y la toma de decisiones participativas.
• Es una técnica muy útil para establecer la CADENA DE
RESULTADOS.
• Identificando un problema de desarrollo, se pretende resolver el
mismo mediante un proceso racional (lógico), que concatene
los distintos niveles de objetivos (largo, mediano y corto plazo),
sus respectivas estrategias y tácticas e indicadores para medir el
logro de estos objetivos mediante la toma de decisiones
participativas.
¿Qué es la Matriz de Indicadores?
Es un instrumento de gestión de programas y proyectos.
Permite fortalecer la preparación y la ejecución de programas y proyectos.
Resume los principales resultados de la preparación del programa o proyecto.
Permite un seguimiento gerencial de la ejecución.Facilita la evaluación de resultados e impactos.
Qué NO es la Matriz de Indicadores?
• No es un método de evaluación ex-ante
de proyectos o programas.
• No es un método de programación de la
ejecución.
• No es autosuficiente para una buena
gestión de programas y proyectos.
• No es una panacea ni un dogma.
Matriz de Indicadores
Fin
Propósito
Componentes
Actividades
Objetivos IndicadoresMedios deverificación Supuestos
Propósito
Compo-nentes
Activi-dades
Fin
Si el programa está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba:
· Las Actividades son las necesarias y suficientes para producir cada Componente.
· Los Componentes son los necesarios y suficientes para lograr el Propósito.
· Si se logra el Propósito, el programa, contribuirá al logro del Fin.
· El Fin representa un aporte al logro del objetivo estratégico institucional.
Logica vertical del programa
Esta columna se conoce también como Resumen Narrativo del Programa (Proyecto).
Responde a las interrogantes:– ¿A que objetivo estratégico contribuye el programa? – ¿Qué se espera lograr con el programa? – ¿Qué bienes o servicios debe producir el programa?
– ¿Cómo se producirán los Componentes?
Fin
Propósito
Compo-nentes
Activi-dades
Objetivos
Consejo Nacional de Evaluación de la Política de Desarrollo Social
Apoyar a la población más pobre a elevar sus ingresos y a mejorar su calidad de vida.
Componentes
Actividades
Propósito
Fin
Imple
menta
ción
Resu
ltados
Contribuir a asegurar el ejercicio de los derechos ciudadanos de la población en situación de pobreza y exclusión en las comunidades urbanas..
1. Hogares acceden a servicios de nutrición, salud y educación para incrementar su capital humano 2. Hogares y comunidades acceden a servicios básicos de saneamiento, vías de comunicación y espacios comunitarios para mejorar su condición habitacional3. Personas reciben capacitación y apoyos para mejorar su nivel y capacidad de generar ingresos 4. Instituciones, comunidades, escuelas y familias fortalecen su capacidad de prevenir la violencia y generan oportunidades atractivas de desarrollo a jóvenes en situación crítica
Objetivos Nacionales
y Sectoriales
EL RESUMEN NARRATIVO: COMUNIDADES SOLIDARIAS URBANAS
Ampliar las capacidades y las oportunidades de la población pobre y vulnerable que vive en asentamientos urbanos precarios para que mejore su consumo, nutrición, salud, educación, seguridad ciudadana y acceso a servicios básicos comunitarios
Fin
Propósito
Compo-nentes
Activi-dades
¿A que objetivo estratégico contribuye el programa? Indica cómo el programa contribuirá
a un objetivo estratégico institucional o nacional.
Mejorar la calidad de vida de los grupos vulnerables de la población a través de la
atención a adultos mayores.
- El objetivo estratégico no se logra solo con el programa.- Varios programas pueden contribuir al mismo objetivo estratégico
Objetivo: Fin
Fin
Propósito
Compo-nentes
Activi-dades
¿Qué se espera lograr con el programa?Describe el resultado directo
obtenido de la utilización de los Componentes.Debe ser único.
Adultos mayores en situación vulnerable y de abandono familiar mejoran su calidad de vida a través de una atención integral y permanente.
- Debe ser único.- Debe redactarse como si ya se ha logrado.
Objetivo: Propósito
Fin
Propósito
Compo-nentes
Activi-dades
¿Qué bienes o servicios se requiere producir?Son los bienes y servicios que debe producir el ejecutor del
programa para poder lograr el Propósito.
C-1
C-2
C-3
- Pueden ser uno o varios (10 ya es mucho).- Deben redactarse como si ya se han logrado.
Objetivo: Componentes
Objetivos: Actividades
Fin
Propósito
Compo-nentes
Activi-dades
¿Cómo se producirán los Componentes?
Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo
para producir cada Componente.
- Se presentan por componente- En orden cronológico- Son las grandes actividades, no detallar innecesariamente
Indicadores
Fin
Propósito
Compo-nentes
Activi-dades
• Proporcionan la base para supervisar y evaluar el programa.
• Establecen una relación entre dos o más
variables.
• Pueden reflejar aspectos cualitativos o cuantitativos.
• Entregan información cuantitativa.
• Para cada indicador e establecen metas que nos permiten evaluar en que medida se cumplen los objetivos.
• Es recomendable acordarlos con los involucrados.
Indicadores
Eficacia:– Miden el nivel de cumplimiento de los objetivos.– En general se relacionan con la Población Potencial
u Objetivo.– Ej. Tasas de terminación de educación básica de los
beneficiarios respecto a la nacional.– Ej. Porcentaje del total de niños beneficiarios del Programa
que están en control nutricional.Eficiencia:
– Relacionan productos con costos o insumos.– Ej. Porcentaje del presupuesto del Programa que se gasta
en su administración.– Ej. Número promedio de familias atendidas por médico.
Tipo de indicadores
Según el tipo de información que entregan se distinguen indicadores de:
Calidad:– Evalúan atributos respecto a normas, referencias
externas o satisfacción de los beneficiarios (usuarios).– Ej. Porcentaje del total de becarios que considera atractivo el
incentivo .– Ej. Porcentaje del total de unidades médicas en el Programa
que están acreditadas.
Economía:– Reflejan capacidad para generar y movilizar recursos
financieros.– Ej. Porcentaje de ejecución del presupuesto asignado.– Ej. Porcentaje de recuperación de créditos.
Tipo de indicadores
Claro: Preciso y sin ambigüedades
Relevante: apropiado para el tema
Económico: disponible a un costo razonable
Monitoreable: factible de validación
Adecuado: Debe proporcionar suficiente información para medir su funcionamiento.
Características de un buen indicador
Indicadores de
resultados
FinIndicadores de impactos
Indicadores de gestión
Indicadores de servicios
Propósito
Compo-nentes
Activi-dades
Indicadores
Miden contribución al logro del fin (a mediano y largo plazo).
Miden los resultados al terminar la ejecución del proyecto o al cabo de algún tiempo de operación del programa.
Miden eficacia, eficiencia,y calidad en el logro de los componen-tes.
Permiten dar seguimiento a las actividades (C4) (eficiencia, eficacia) Sobres de complemento alimenticio
entregados a niños beneficiarios.
Comparación de la diferencia entre la escolaridad promedio de los hijos de 20 años de edad de las familias beneficiarias y la de sus padres con la misma diferencia en la población nacional.
Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional.Recursos entregados respecto a los costos directos de las transferencias monetarias.Tasa de terminación de educación básica de los beneficiarios respecto a la nacional.
Porcentaje de becarios de Primaria que transitan a Secundaria.Ejercicio presupuestal del componente Salud.Porcentaje de embarazadas beneficiarias que están en control prenatal.
Recomendaciones sobre Indicadores
• Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades gastro-intestinales).
• Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes).
Medios de Verificación¿Cómo obtenemos la evidencia?
• Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores).
• Pueden incluir:– Estadísticas– Material publicado– Inspección visual– Encuestas– Informes de auditoría– Registros contables
Fin
Propósito
Compo-nentes
Activi-dades
Medios deverificación
Supuestos
• Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto.
• El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos.
• Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia.
Fin
Propósito
Compo-nentesActivi-dades
Supuestos
¿Cómo incorporamos los riesgos?
Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.
Supuestos
Supuestos
Supuestos
SupuestosFin
Propósito
Compo-nentes
Activi-dades
Supuestos
La población asiste a los cursos de capacitación
en higiene
Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto.
Supuestos
Supuestos
Supuestos
SupuestosFin
Propósito
Compo-nentes
Activi-dades
Supuestos
Acontecimientos, condiciones o decisiones que tienen que ocurrirpara que los componentes del proyecto alcancen el Propósito.
La población aplica lo aprendido sobre higiene en sus actividades diarias
Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.
Supuestos
Supuestos
Supuestos
SupuestosFin
Propósito
Compo-nentes
Activi-dades
Supuestos
Acontecimientos, condiciones o decisiones
que tienen que ocurrir para que el proyecto
contribuya significativamente al logro
del Fin.
No ocurrren plagas o epidemias importantes.
Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.
Supuestos
Supuestos
Supuestos
SupuestosFin
Propósito
Compo-nentes
Activi-dades
Supuestos
Acontecimientos, condiciones o decisiones importantes para la
"sustentabilidad” de los beneficios generados por el
proyecto.
La población enseña los hábitos de higiene
aprendidos a sus hijos e hijas.
Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.
Diagrama para el análisis de supuestos
¿El riesgo es externo al proyecto?
¿El riesgo es importante?
¿Probabilidad de ocurrencia?
¿Se puede rediseñar el proyecto?
Si
Pocoprobable
Si
No incluir
No
SUPUESTO
ProbableMuy
probable
Si No Supuestofatal
Rediseñar
Monitoreo genera información necesaria para medir el nivel de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.
Sucede casi de manera automática en los negocios (ventas, ingresos…) pero tiene que ser al propósito en el sector público
Permite generar información continua y sistemática para ver si las actividades realizadas son suficientes, eficientes y eficaces para generar y/entregar los bienes y servicios que permiten cumplir con el propósito y llegar al fin del programa.
EL MONITOREO Y LA EVALUACION
Monitoreo Tendencia de resultados a través del tiempo ej. matricula escolar, resultados de los exámenes, mortalidad ¿Se mueve en la dirección correcta?
Evaluación del “Proceso” Implementación: ¿Se está implementando el programa como
se diseño? Eficiencia: ¿Se pueden hacer más eficientes las operaciones?
Focalización: ¿Están llegando los beneficios a los individuos correctos?
EL MONITOREO Y LA EVALUACION
48
Tipos de Evaluación
Evaluación de Impacto
Evaluación de ConsistenciaEvaluación de Diseño
Evaluación operativaMonitoreo de procesosEvaluación de cobertura
Evaluación financieraMonitoreo presupuestal
Componentes
Actividades
Propósito
Fin
Implementación
Resultado
s
Sistema de Evaluación y Monitoreo basado en Resultados:el caso de México
Objetivos Estratégicos
Matriz de Indicadores
Sistema de Evaluación del Desempeño
Resultados
Evaluación de Consistencia y Resultados
Evaluación deImpacto
EvaluaciónEspecífica
Evaluaciónde indicadores
Programa Anual de Evaluación
EvaluaciónEstratégica
Evaluaciónde procesos
EvaluacionesComplementarias
Programas NuevosGestión por Resultados
Convenio de Compromisos para el Mejoramiento de la Gestión
GRACIAS POR SU ATENCION!!!!!
EL MONITOREO Y LA EVALUACION
Autoría: laminas elaboradas por CONEVAL, CEPAL y Concha Steta.
Top Related