Evaluación de impacto de Red Solidaria: Línea de base
-
Upload
fisdl-el-salvador -
Category
Documents
-
view
2.538 -
download
0
description
Transcript of Evaluación de impacto de Red Solidaria: Línea de base
Evaluación de impacto de Red Solidaria:
Línea de base
FUSADES/IFPRI
IFPRI/FUSADES Página 2
Temas a discutir
• Introducción general• Aspectos metodológicos• Indicadores de impacto principales• Encuesta de Línea Basal: aspectos
generales• Resultados principales e indicadores
alternativos• Resumen
IFPRI/FUSADES Página 3
Introducción
• Una evaluación de impacto es un proceso sistemático que permite medir resultados a posteriori para constatar que se han alcanzado los objetivos propuestos… comprobando que esos resultados sean atribuibles a la intervención directa de un programa.
• La Evaluación de Impacto Externa de Red Solidaria es un proyecto de 40 meses
• Componentes de la evaluación1. Cuantitativo
• 4 rondas de encuestas (línea basal +3)• Evaluación del mecanismo de focalización
2. Cualitativo
IFPRI/FUSADES Página 4
Aspectos metodológicos
IFPRI/FUSADES Página 5
Objetivo de la evaluación cuantitativa
Medir el impacto de dos componentes principales de Red Solidaria en educación, salud y nutrición, y bienestar de los hogares
1. Transferencias Monetarias Condicionadas (TMC)• Transferencias son condicionadas a actividades
relacionadas con• Salud de preescolares• Participación escolar de niños en edad de primaria• Capaciación y servicios de salud para madres
2. Servicios Básicos (SB)• Busca mejorar la oferta de servicios de educación y salud• Proporciona agua potable, saneamiento básico,
electrificación en clínicas y escuelas
IFPRI/FUSADES Page 6
Midiendo impactos causales
Se busca identificar el impacto de un “tratamiento” (en este caso Red Solidaria) en un resultado a través del tiempo. Pero…
¿Cómo saber si los impactos medidos se deben al programa o tratamiento?
• Si se quiere afirmar que el efecto es causal, se necesita una estrategia de identificación
IFPRI/FUSADES Page 7
Medimos un incremento en el resultado a través del tiempo después de una intervención
Y0
Y1
Linea basal(t0) Seguimiento(t1)
Intervención
(observado)
IFPRI/FUSADES Page 8
Se necesita identificar el contrafactual—¿qué hubiera pasado sin el programa?
Y0
Y1
línea basal(t0) seguimiento(t1)
Intervención
Comparación
Y1*
Impacto= Y1-Y1
*
(contrafactual)
(observado)
IFPRI/FUSADES Page 9
Metodologías para evaluación de impacto
Formas de construir un grupo de control o comparación, por ejemplo:
• Randomización• Emparejamiento (incluyendo Propensity-score matching,
covariate matching)• Diseño de Discontinuidad en la Regresión (DDR)
La estrategia de focalización de Red Solidaria determina la selección de la metodología de evaluación
IFPRI/FUSADES Page 10
La randomización no era factible: Red Solidaria inició en 2005. Para 2007 ya estaba en 47 de los 100 municipios que se anticipa recibirán el programa
Los métodos de emparejamiento no son factibles: después de controlar por las variables observadas en el Mapa de Pobreza y el IIMM, no hay grupos factibles para emparejar
El método más factible para el caso de Red Solidaria
Metodologías para evaluación de impacto
IFPRI/FUSADES Page 11
¿Por qué falla el emparejamiento en programas focalizados?:
67
89
10
Out
com
e
9000 9500 10000 10500 11000Poverty score
TRATAMIENTO COMPARACIÓN
IFPRI/FUSADES Page 12
Cómo el DDR mide impactos
• Antes de Red Solidaria0
51
01
52
02
5
20 25 30 35 40 45IIMM
IFPRI/FUSADES Page 13
• Después de Red Solidaria
Cómo el DDR mide impactos
05
10
15
20
25
20 25 30 35 40 45IIMM
beneficiariosNo beneficiarios
IFPRI/FUSADES Page 14
• Después de Red Solidaria
Cómo el DDR mide impactos
05
10
15
20
25
20 25 30 35 40 45IIMM
IMPACTO
beneficiariosNo beneficiarios
IFPRI/FUSADES
Página 15
Método de “Doble diferencia”
Antes Después
Tratamiento Control
A
B
Diferencia antes del programa: A
Diferencia después del programa: B
Doble Diferencia: B-A
Pero... se busca medir solamente el impacto del programa y no de otras cosas que estén cambiando en la sociedad y el entorno.
IFPRI/FUSADES Página 16
Un desafío para la evaluación de Red Solidaria: Línea de base
• ¡Se necesita información de línea base para las comunidades de tratamiento y control!
• Pero, a la fecha de la encuesta de línea basal, Red Solidaria ya estaba en 47 de los 100 municipios
• Esos 47 se consideran las comunidades más pobres• Aunque ese es un buen diseño de programa, es
igualmente un reto para la evaluación
• Y hace que encontrar comunidades de control sea un reto aún más complicado
IFPRI/FUSADES Página 17
Estrategias para tratar la falta de una línea basal
• Preguntas “retrospectivas” en la encuesta• Historia de fertilidad (desde 2005)• Historia educativa (desde 2005)• Historia de acceso a servicios básicos (desde 2005)
• Esto ayuda a reconstruir una lína base para algunos indicadores
• Por lo tanto, esto permite incluir algunas de las comunidades más pobres en la evaluación (las que entraron en 2006)
• Para algunos de los resultados esperados (e.g. ingreso per cápita), no tendrá una verdadera línea base para municipios que ingresaron antes de 2008
IFPRI/FUSADES Página 18
Entonces…
Se consideran tres comparaciones (3 umbrales para la metodología de DDR)
1.2006 vs 2007
2.2007 vs 2008
3.2008 (inicios) vrs 2008 (finales) - sin intervención antes de la línea basal
IFPRI/FUSADES Página 19
Indicadores de impacto principales
IFPRI/FUSADES Página 20
Indicadores de impacto principales
IFPRI/FUSADES Página 21
Indicadores de utilización de los servicios
IFPRI/FUSADES Página 22
Encuesta de Línea Basal: aspectos generales
IFPRI/FUSADES
Encuesta de línea base: aspectos generales
• Muestra diseñada para detectar impactos esperados
- hogares con niños menores de 3 años- hogares con niños de 7 a 12 años
• La muestra responde a la metodología principal: Diseño de Discontinuidad en la Regresión (DDR)
• 50 municipios, 2 cantones en cada uno, seleccionados por año de ingreso a Red Solidaria
Página 23
IFPRI/FUSADES Página 24
Organización del personal
Todas las etapas de la encuesta de línea basal fueron llevadas a cabo bajo la responsabilidad directa del Centro de Investigación e Información
de FUSADES.
Participaron 102 personas
IFPRI/FUSADES Página 25
Trabajo de campo
1. El trabajo de campo de las encuestas de hogares se llevó a cabo del 14 de enero al 21 de febrero
2. El trabajo de campo para comunidades del 21 de febrero al 7 de marzo
IFPRI/FUSADES
Tomando medidas antropométricas
Se tomaron medidas antropométricas (peso y talla/longitud) a niños menores de 3 años y sus madres
Página 26
IFPRI/FUSADES Página 27
Trabajo de campo
IFPRI/FUSADES
Muestra efectiva
• Hogares: 2,921
• Centros escolares: 191• Establecimientos de salud: 54
Página 28
2006 20072008
inicios2008
finales TotalEncuestas completadas 623 593 1,123 582 2,921 Número de cantones 22 20 38 20 100 Promedios por cantón: con niños < 3 años 15 15 17 16 16 con niños 6-12 años 22 24 22 21 22
Año de ingreso a RS
IFPRI/FUSADES Página 29
Resultados principales
IFPRI/FUSADES
¿Qué buscamos con los resultados de la encuesta?
• Construir los indicadores de línea basal
• Determinar si los datos obtenidos (variabilidad) permitirían observar impactos de Red Solidaria
Página 30
IFPRI/FUSADES
Indicadores Línea basal Red
Solidaria
EHPM 2006Promedio rural
EHPM 2006Hogares pobres
rurales
Características del hogar
Tamaño del hogar 5.44 4.38 5.44
Edad promedio – jefe del hogar
40.9 45.9 46.6
Edad promedio – todos los miembros
20.7 25.5 22.8
Ingreso promedio
Ingreso total - mensual 146.17 284.21 146.87
Ingreso per cápita – mensual 29.35 77.47 27.73
Algunas comparaciones de los hogares de la encuesta de línea basal con los de la EHPM 2006
IFPRI/FUSADES
Pobreza: Ingreso per cápita
Ingreso anual (US$)
Año de ingreso a Red Solidaria
2006 2007 Inicios Finales
2008 2008
Ingreso familiar total
1,542 1,947 1,933 1,436
Ingreso per cápita
323.3 361.1 381.7 319.1
IFPRI/FUSADES
Componentes del ingreso total de los hogares
Año de ingreso a Red Solidaria
2006 2007 Inicios 2008
Finales2008
Ingreso agropecuario 329.4 622.4 445.7 203.1
Ingreso laboral 608.1 912.9 1059.7 831.9
Ingreso por migración 323.6 280.8 412.6 365.7
Transferencias Red Solidaria 163.9 100.0 2.8 0.0
Otro ingreso 116.4 30.5 12.0 35.8
Ingreso total 1,542 1,947 1,933 1,437
IFPRI/FUSADES
Educación: Tasa de repetición en primer grado
Proporción de niños en primer grado que estaban repitiendo
Año de ingreso a Red Solidaria2006 2007 Inicios
2008Finales2008
En 2006 15.5% 16.7% 20.1% 10.4%
En 2007 15.6% 24.4% 20.0% 14.6%
IFPRI/FUSADES
Educación: Tasa de matrícula entre los niños de 7 a 12 años
Año de ingreso a Red Solidaria
2006 2007 Inicios 2008
Finales2008
En 2005 92.1% 90.5% 88.3% 91.9%
En 2007 98.7% 95.0% 94.2% 95.0%
IFPRI/FUSADES
Matrícula en Escuela (edad: 6 años inicios 2007)
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales
2008 2007 96.8% 86.9% 84.5% 87.5%
2005 76.4% 65.5% 70.6% 71.7%
Cerca de la mitad en parvulariaAlta en ninos que ingresaron al programa en 2006 y 2007
ALTERNATIVA
IFPRI/FUSADES
Matrícula en Parvularia (edad: 5 años inicios 2007)
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales
2008 2007 65.3% 65.0% 56.1% 62.5%
Alta en ninos que ingresaron al programa en 2006 y 2007
ALTERNATIVA
IFPRI/FUSADES
Salud : La prevalencia de diarrea en niños <5 años
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Prevalencia de 7.8% 12.8% 9.9% 8.4% diarrea
Proporción de niños menores de 5 años que tuvieron diarrea en los 15 días anteriores
IFPRI/FUSADES
Acceso a agua por cañería
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Dentro de vivienda o propiedad 63.4% 45.2% 43.1% 46.9% Acceso 81.4% 57.5% 65.0% 68.6%
IFPRI/FUSADES
Las tasas de desnutrición (peso para la edad) en niños de 0 a 23 meses de edad
Año de ingreso a Red Solidaria Grupo de edad
2006 2007 Inicios 2008
Finales 2008
Puntaje Z de peso para edad (PEZ) 0-24 meses -0.272 -0.205 -0.130 -0.016 6-24 meses -0.291 -0.261 -0.151 -0.040 0-36 meses -0.404 -0.397 -0.288 -0.130 Tasa de desnutrición (PEZ<-2) 6.1% 3.7% 6.4% 3.2%
IFPRI/FUSADES
IFPRI/FUSADES
Tasa de retardo en Talla (Z<-2)
Año de ingreso a Red Solidaria
2006 2007 Inicios 2008
Finales 2008
Prevalencia 21.3% 19.7% 18.6% 14.5% de retardo en talla
ALTERNATIVA
IFPRI/FUSADES
Cobertura de control de crecimiento (< 1 año)
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Inscripción en control de crecimiento 97.3% 95.7% 92% 94%
IFPRI/FUSADES
Niños con controles adecuados(< 1 año)
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Control de crecimiento adecuado 65.7% 60.8% 62.4% 65.1% Niños con control todos los meses 58.9% 46.7% 55.4% 50.6%
El 94.1% se inscriben;Pero solo 63% cumplen con número de visitas esperado
ALTERNATIVA
IFPRI/FUSADES
Cobertura de vacunación con SPR (primera dosis)
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Cobertura de vacunación 81.8% 82.4% 64.8% 72.1% con SPR
IFPRI/FUSADES
Cobertura de otras vacunasNiños de 0 a 3 años
ALTERNATIVA
Vacuna% niños que la han recibido
BCG (dosis 1) 84.0BCG (dosis 2) 1.0DPT (refuerzo 1) 30.6DPT (refuerzo 2) 8.2DT (dosis 1) 4.5DT (dosis 2) 3.7
DT (dosis 3) 3.6Pentavalente (dosis 1) 69.0Pentavalente (dosis 2) 64.0Pentavalente (dosis 3) 59.0Polio (dosis 1) 79.4Polio (dosis 2) 73.3Polio (dosis 3) 66.8Rotavirus 38.5
IFPRI/FUSADES
% Embarazadas inscritas en controles prenatales
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Mujeres inscritas en control prenatal 98.2% 98.4% 96.7% 97.0% /
IFPRI/FUSADES
% Embarazadas con por lo menos 5 controles
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Controles prenatales 79.4% 77.1% 73.6% 79.5% adecuados 1/
ALTERNATIVA
IFPRI/FUSADES
Partos atendidos por personal calificado
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales 2008
Partos atendidos por personal 65.7% 55.3% 58.0% 67.6% calificado
IFPRI/FUSADES
Trabajo Infantil
Año de ingreso a Red Solidaria 2006 2007 Inicios
2008 Finales
2008 Hogares con niños que 23.1% 27.0% 20.0% 19.3% trabajan
IFPRI/FUSADES Página 51
Resumen y conclusiones
IFPRI/FUSADES Página 52
¿Potencial para demostrar impacto?
Impacto sobre: Indicador PotencialPobreza Ingreso per cápita Sí
Educación Tasa de repitencia de primer grado Sí
Salud Prevalencia de diarrea en niños menores de cinco años
Sí
Nutrición Prevalencia de la desnutrición (peso/edad) en niños de 0 a 23 meses
Sí, pero otro
indicador
IFPRI/FUSADES Página 53
¿Potencial para demostrar impacto?
Impacto sobre: Indicador PotencialUtilización de los servicios de educación
Matrícula de niños de 7 a 12 años Sí, pero otro indicador
Utilización de los servicios de salud
Cobertura de vacunación con SPR en niños de 12 a 23 meses
Sí, pero otro indicador
Cobertura de inscripción en control de crecimiento en niños menores de 1 año
Sí, pero otro indicador
Cobertura de inscripción en controles prenatales
Sí, pero otro indicador
Partos atendidos por personal calificado
Sí
Thursday, April 13, 2023
Encuesta de Línea Basal
IFPRI/FUSADES