Evaluación de impacto de Red Solidaria:

Línea de base

FUSADES/IFPRI

IFPRI/FUSADES Página 2

Temas a discutir

• Introducción general• Aspectos metodológicos• Indicadores de impacto principales• Encuesta de Línea Basal: aspectos

generales• Resultados principales e indicadores

alternativos• Resumen

IFPRI/FUSADES Página 3

Introducción

• Una evaluación de impacto es un proceso sistemático que permite medir resultados a posteriori para constatar que se han alcanzado los objetivos propuestos… comprobando que esos resultados sean atribuibles a la intervención directa de un programa.

• La Evaluación de Impacto Externa de Red Solidaria es un proyecto de 40 meses

• Componentes de la evaluación1. Cuantitativo

• 4 rondas de encuestas (línea basal +3)• Evaluación del mecanismo de focalización

2. Cualitativo

IFPRI/FUSADES Página 4

Aspectos metodológicos

IFPRI/FUSADES Página 5

Objetivo de la evaluación cuantitativa

Medir el impacto de dos componentes principales de Red Solidaria en educación, salud y nutrición, y bienestar de los hogares

1. Transferencias Monetarias Condicionadas (TMC)• Transferencias son condicionadas a actividades

relacionadas con• Salud de preescolares• Participación escolar de niños en edad de primaria• Capaciación y servicios de salud para madres

2. Servicios Básicos (SB)• Busca mejorar la oferta de servicios de educación y salud• Proporciona agua potable, saneamiento básico,

electrificación en clínicas y escuelas

IFPRI/FUSADES Page 6

Midiendo impactos causales

Se busca identificar el impacto de un “tratamiento” (en este caso Red Solidaria) en un resultado a través del tiempo. Pero…

¿Cómo saber si los impactos medidos se deben al programa o tratamiento?

• Si se quiere afirmar que el efecto es causal, se necesita una estrategia de identificación

IFPRI/FUSADES Page 7

Medimos un incremento en el resultado a través del tiempo después de una intervención

Y0

Y1

Linea basal(t0) Seguimiento(t1)

Intervención

(observado)

IFPRI/FUSADES Page 8

Se necesita identificar el contrafactual—¿qué hubiera pasado sin el programa?

Y0

Y1

línea basal(t0) seguimiento(t1)

Intervención

Comparación

Y1*

Impacto= Y1-Y1

*

(contrafactual)

(observado)

IFPRI/FUSADES Page 9

Metodologías para evaluación de impacto

Formas de construir un grupo de control o comparación, por ejemplo:

• Randomización• Emparejamiento (incluyendo Propensity-score matching,

covariate matching)• Diseño de Discontinuidad en la Regresión (DDR)

La estrategia de focalización de Red Solidaria determina la selección de la metodología de evaluación

IFPRI/FUSADES Page 10

La randomización no era factible: Red Solidaria inició en 2005. Para 2007 ya estaba en 47 de los 100 municipios que se anticipa recibirán el programa

Los métodos de emparejamiento no son factibles: después de controlar por las variables observadas en el Mapa de Pobreza y el IIMM, no hay grupos factibles para emparejar

El método más factible para el caso de Red Solidaria

Metodologías para evaluación de impacto

IFPRI/FUSADES Page 11

¿Por qué falla el emparejamiento en programas focalizados?:

67

89

10

Out

com

e

9000 9500 10000 10500 11000Poverty score

TRATAMIENTO COMPARACIÓN

IFPRI/FUSADES Page 12

Cómo el DDR mide impactos

• Antes de Red Solidaria0

51

01

52

02

5

20 25 30 35 40 45IIMM

IFPRI/FUSADES Page 13

• Después de Red Solidaria

Cómo el DDR mide impactos

05

10

15

20

25

20 25 30 35 40 45IIMM

beneficiariosNo beneficiarios

IFPRI/FUSADES Page 14

• Después de Red Solidaria

Cómo el DDR mide impactos

05

10

15

20

25

20 25 30 35 40 45IIMM

IMPACTO

beneficiariosNo beneficiarios

IFPRI/FUSADES

Página 15

Método de “Doble diferencia”

Antes Después

Tratamiento Control

A

B

Diferencia antes del programa: A

Diferencia después del programa: B

Doble Diferencia: B-A

Pero... se busca medir solamente el impacto del programa y no de otras cosas que estén cambiando en la sociedad y el entorno.

IFPRI/FUSADES Página 16

Un desafío para la evaluación de Red Solidaria: Línea de base

• ¡Se necesita información de línea base para las comunidades de tratamiento y control!

• Pero, a la fecha de la encuesta de línea basal, Red Solidaria ya estaba en 47 de los 100 municipios

• Esos 47 se consideran las comunidades más pobres• Aunque ese es un buen diseño de programa, es

igualmente un reto para la evaluación

• Y hace que encontrar comunidades de control sea un reto aún más complicado

IFPRI/FUSADES Página 17

Estrategias para tratar la falta de una línea basal

• Preguntas “retrospectivas” en la encuesta• Historia de fertilidad (desde 2005)• Historia educativa (desde 2005)• Historia de acceso a servicios básicos (desde 2005)

• Esto ayuda a reconstruir una lína base para algunos indicadores

• Por lo tanto, esto permite incluir algunas de las comunidades más pobres en la evaluación (las que entraron en 2006)

• Para algunos de los resultados esperados (e.g. ingreso per cápita), no tendrá una verdadera línea base para municipios que ingresaron antes de 2008

IFPRI/FUSADES Página 18

Entonces…

Se consideran tres comparaciones (3 umbrales para la metodología de DDR)

1.2006 vs 2007

2.2007 vs 2008

3.2008 (inicios) vrs 2008 (finales) - sin intervención antes de la línea basal

IFPRI/FUSADES Página 19

Indicadores de impacto principales

IFPRI/FUSADES Página 20

Indicadores de impacto principales

IFPRI/FUSADES Página 21

Indicadores de utilización de los servicios

IFPRI/FUSADES Página 22

Encuesta de Línea Basal: aspectos generales

IFPRI/FUSADES

Encuesta de línea base: aspectos generales

• Muestra diseñada para detectar impactos esperados

- hogares con niños menores de 3 años- hogares con niños de 7 a 12 años

• La muestra responde a la metodología principal: Diseño de Discontinuidad en la Regresión (DDR)

• 50 municipios, 2 cantones en cada uno, seleccionados por año de ingreso a Red Solidaria

Página 23

IFPRI/FUSADES Página 24

Organización del personal

Todas las etapas de la encuesta de línea basal fueron llevadas a cabo bajo la responsabilidad directa del Centro de Investigación e Información

de FUSADES.

Participaron 102 personas

IFPRI/FUSADES Página 25

Trabajo de campo

1. El trabajo de campo de las encuestas de hogares se llevó a cabo del 14 de enero al 21 de febrero

2. El trabajo de campo para comunidades del 21 de febrero al 7 de marzo

IFPRI/FUSADES

Tomando medidas antropométricas

Se tomaron medidas antropométricas (peso y talla/longitud) a niños menores de 3 años y sus madres

Página 26

IFPRI/FUSADES Página 27

Trabajo de campo

IFPRI/FUSADES

Muestra efectiva

• Hogares: 2,921

• Centros escolares: 191• Establecimientos de salud: 54

Página 28

2006 20072008

inicios2008

finales TotalEncuestas completadas 623 593 1,123 582 2,921 Número de cantones 22 20 38 20 100 Promedios por cantón: con niños < 3 años 15 15 17 16 16 con niños 6-12 años 22 24 22 21 22

Año de ingreso a RS

IFPRI/FUSADES Página 29

Resultados principales

IFPRI/FUSADES

¿Qué buscamos con los resultados de la encuesta?

• Construir los indicadores de línea basal

• Determinar si los datos obtenidos (variabilidad) permitirían observar impactos de Red Solidaria

Página 30

IFPRI/FUSADES

Indicadores Línea basal Red

Solidaria

EHPM 2006Promedio rural

EHPM 2006Hogares pobres

rurales

Características del hogar

Tamaño del hogar 5.44 4.38 5.44

Edad promedio – jefe del hogar

40.9 45.9 46.6

Edad promedio – todos los miembros

20.7 25.5 22.8

Ingreso promedio

Ingreso total - mensual 146.17 284.21 146.87

Ingreso per cápita – mensual 29.35 77.47 27.73

Algunas comparaciones de los hogares de la encuesta de línea basal con los de la EHPM 2006

IFPRI/FUSADES

Pobreza: Ingreso per cápita

Ingreso anual (US$)

  Año de ingreso a Red Solidaria

2006 2007 Inicios Finales

2008 2008

Ingreso familiar total

1,542 1,947 1,933 1,436

Ingreso per cápita

323.3 361.1 381.7 319.1

IFPRI/FUSADES

Componentes del ingreso total de los hogares

Año de ingreso a Red Solidaria

2006 2007 Inicios 2008

Finales2008

Ingreso agropecuario 329.4 622.4 445.7 203.1

Ingreso laboral 608.1 912.9 1059.7 831.9

Ingreso por migración 323.6 280.8 412.6 365.7

Transferencias Red Solidaria 163.9 100.0 2.8 0.0

Otro ingreso 116.4 30.5 12.0 35.8

Ingreso total 1,542 1,947 1,933 1,437

IFPRI/FUSADES

Educación: Tasa de repetición en primer grado

Proporción de niños en primer grado que estaban repitiendo

  Año de ingreso a Red Solidaria2006 2007 Inicios

2008Finales2008

En 2006 15.5% 16.7% 20.1% 10.4%

En 2007 15.6% 24.4% 20.0% 14.6%

IFPRI/FUSADES

Educación: Tasa de matrícula entre los niños de 7 a 12 años

  Año de ingreso a Red Solidaria

2006 2007 Inicios 2008

Finales2008

En 2005 92.1% 90.5% 88.3% 91.9%

En 2007 98.7% 95.0% 94.2% 95.0%

IFPRI/FUSADES

Matrícula en Escuela (edad: 6 años inicios 2007)

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales

2008 2007 96.8% 86.9% 84.5% 87.5%

2005 76.4% 65.5% 70.6% 71.7%

Cerca de la mitad en parvulariaAlta en ninos que ingresaron al programa en 2006 y 2007

ALTERNATIVA

IFPRI/FUSADES

Matrícula en Parvularia (edad: 5 años inicios 2007)

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales

2008 2007 65.3% 65.0% 56.1% 62.5%

Alta en ninos que ingresaron al programa en 2006 y 2007

ALTERNATIVA

IFPRI/FUSADES

Salud : La prevalencia de diarrea en niños <5 años

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Prevalencia de 7.8% 12.8% 9.9% 8.4% diarrea

Proporción de niños menores de 5 años que tuvieron diarrea en los 15 días anteriores

IFPRI/FUSADES

Acceso a agua por cañería

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Dentro de vivienda o propiedad 63.4% 45.2% 43.1% 46.9% Acceso 81.4% 57.5% 65.0% 68.6%

IFPRI/FUSADES

Las tasas de desnutrición (peso para la edad) en niños de 0 a 23 meses de edad

Año de ingreso a Red Solidaria Grupo de edad

2006 2007 Inicios 2008

Finales 2008

Puntaje Z de peso para edad (PEZ) 0-24 meses -0.272 -0.205 -0.130 -0.016 6-24 meses -0.291 -0.261 -0.151 -0.040 0-36 meses -0.404 -0.397 -0.288 -0.130 Tasa de desnutrición (PEZ<-2) 6.1% 3.7% 6.4% 3.2%

IFPRI/FUSADES

IFPRI/FUSADES

Tasa de retardo en Talla (Z<-2)

Año de ingreso a Red Solidaria

2006 2007 Inicios 2008

Finales 2008

Prevalencia 21.3% 19.7% 18.6% 14.5% de retardo en talla

ALTERNATIVA

IFPRI/FUSADES

Cobertura de control de crecimiento (< 1 año)

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Inscripción en control de crecimiento 97.3% 95.7% 92% 94%

IFPRI/FUSADES

Niños con controles adecuados(< 1 año)

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Control de crecimiento adecuado 65.7% 60.8% 62.4% 65.1% Niños con control todos los meses 58.9% 46.7% 55.4% 50.6%

El 94.1% se inscriben;Pero solo 63% cumplen con número de visitas esperado

ALTERNATIVA

IFPRI/FUSADES

Cobertura de vacunación con SPR (primera dosis)

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Cobertura de vacunación 81.8% 82.4% 64.8% 72.1% con SPR

IFPRI/FUSADES

Cobertura de otras vacunasNiños de 0 a 3 años

ALTERNATIVA

Vacuna% niños que la han recibido

BCG (dosis 1) 84.0BCG (dosis 2) 1.0DPT (refuerzo 1) 30.6DPT (refuerzo 2) 8.2DT (dosis 1) 4.5DT (dosis 2) 3.7

DT (dosis 3) 3.6Pentavalente (dosis 1) 69.0Pentavalente (dosis 2) 64.0Pentavalente (dosis 3) 59.0Polio (dosis 1) 79.4Polio (dosis 2) 73.3Polio (dosis 3) 66.8Rotavirus 38.5

IFPRI/FUSADES

% Embarazadas inscritas en controles prenatales

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Mujeres inscritas en control prenatal 98.2% 98.4% 96.7% 97.0% /

IFPRI/FUSADES

% Embarazadas con por lo menos 5 controles

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Controles prenatales 79.4% 77.1% 73.6% 79.5% adecuados 1/

ALTERNATIVA

IFPRI/FUSADES

Partos atendidos por personal calificado

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales 2008

Partos atendidos por personal 65.7% 55.3% 58.0% 67.6% calificado

IFPRI/FUSADES

Trabajo Infantil

Año de ingreso a Red Solidaria 2006 2007 Inicios

2008 Finales

2008 Hogares con niños que 23.1% 27.0% 20.0% 19.3% trabajan

IFPRI/FUSADES Página 51

Resumen y conclusiones

IFPRI/FUSADES Página 52

¿Potencial para demostrar impacto?

Impacto sobre: Indicador PotencialPobreza Ingreso per cápita Sí

Educación Tasa de repitencia de primer grado Sí

Salud Prevalencia de diarrea en niños menores de cinco años

Sí

Nutrición Prevalencia de la desnutrición (peso/edad) en niños de 0 a 23 meses

Sí, pero otro

indicador

IFPRI/FUSADES Página 53

¿Potencial para demostrar impacto?

Impacto sobre: Indicador PotencialUtilización de los servicios de educación

Matrícula de niños de 7 a 12 años Sí, pero otro indicador

Utilización de los servicios de salud

Cobertura de vacunación con SPR en niños de 12 a 23 meses

Sí, pero otro indicador

Cobertura de inscripción en control de crecimiento en niños menores de 1 año

Sí, pero otro indicador

Cobertura de inscripción en controles prenatales

Sí, pero otro indicador

Partos atendidos por personal calificado

Sí

Thursday, April 13, 2023

Encuesta de Línea Basal

IFPRI/FUSADES