Lecciones aprendidas de las evaluaciones experimentales

Martín Valdivia

GRADE Perú

Contexto del Curso

1. Introducción a las Evaluaciones de Impacto

2. Teoría de Cambio e Indicadores

3. Por qué y Cómo Aleatorizar

4. Tamaño de Muestra y Cálculos de Poder

5. Inferencia Causal

6. Evaluaciones Experimentales y Políticas

Públicas

7. Lecciones aprendidas de las evaluaciones experimentales

8. Evaluación Experimental de Principio a Fin

Esquema de la presentación

1. Evaluaciones en Latinoamérica

2. ¿Qué hemos aprendido?

a) Trabajando con contrapartes

b) Evidencia de evaluaciones experimentales

a) Educación

b) Micro-finanzas

3. ¿Qué nos falta por aprender?

Evaluaciones en Latinoamérica

• Como vimos en la clase

anterior, ha habido un gran

esfuerzo por evaluar

programas sociales en

Latinoamérica y el Caribe

• Estas experiencias han

generado lecciones

importantes sobre políticas

públicas y sobre cómo

trabajar con gobiernos,

organizaciones

internacionales y otras

contrapartes

Tendencia de la producción de estudios de evaluaciones de impacto en AL&C: # de estudios

Alzua, Djebbari y Valdivia (2011) hacen una revisión de la producción y uso de las evaluaciones de impacto en AL&C Rigurosa Foco en países de menores

capacidades de investigación Creciente producción de

evaluaciones rigurosas en ambas muestras de países

Brecha entre grupos de países es más pronunciada cuando el gbno. está involucrado ¿Son las evaluaciones

rigurosas demasiado exigentes para los gobiernos menos robustos?

RCTs son crecientemente populares

Our study area

0

10

20

30

40

50

60

70

80

90

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011

# o

f s

tud

ies

RCT Match Other

Rest of LAC

0

10

20

30

40

50

60

70

80

90

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

# o

f stu

die

s

RCT Match Other

Consistente con: Reconocimiento de RCTs

como estándar más elevado de rigurosidad

Su potencial para guiar el desarrollo de las políticas públicas

Conlleva popularidad de RCTs con investigadores y donantes

J-PAL, IPA, 3IE Gates Foundation, Citi,

USAID, MCC Karlan & Appel (2011) y

Banerjee & Duflo (2011)

Pero, no tanto cuando el gobierno está involucrado

• No ha sido fácil incluir diseños experimentales para la evaluación de programas públicos

• Es más fácil con ONGs • ¿Más activos en la búsqueda de

innovaciones que perfeccionen el logro de sus objetivos?

• Les ayuda con donantes

• ¿Son los RCTs demasiado exigentes para la implementación?

• ¿Costo? • ¿Exigencias de planificación? • ¿Diferencias de horizonte

temporal?

PROGRESA: El proyecto emblemático

• Vimos en la clase anterior, que la evaluación de

PROGRESA es considerada una de las más famosas

en la región • Resultados importantes y robustos

• Motivó programas y evaluaciones similares

• Continuidad del programa

Pero, ¿cómo se dio esta evaluación?

(Parker y Teruel, 2005). “Randomization and social program

evaluation: the case of PROGRESA” Annals of the American Academy of Political and Social Science Vol. 599

PROGRESA en México

• Primer programa social en México en incorporar una

evaluación rigurosa de impacto en su diseño

• El reto de la innovación: transferencia monetarias para

reemplazar a las transferencias en especie

• Evaluación fue concebida desde el inicio

• Necesidad de garantizar continuidad del programa

ante la inminencia del cambio de gobierno (del PRI al

PAN)

• El rol de Santiago Levy

• El evaluador externo: International Food Policy Research

Institute (IFPRI)

PROGRESA en México

• Consideraciones políticas en el diseño • Aleatorización a nivel de comunidades, y no de hogares, era

políticamente poco sostenible • No se pudo explorar externalidades

• No se pudo dar la descomposición de los diferentes

componentes (transferencia monetaria, condicionalidad,

inversión complementaria en salud/educación)

• Logros contundentes: • Programa sobrevivió al cambio de gobierno, y se expandió a

zonas urbanas (ya sin RCT)

• BID financió expansión con proyecto excepcionalmente

grande

• Programa se replicó, primero en muchos países de la región,

luego en otros continentes

Lecciones aprendidas: Logística

• En el caso de PROGRESA, el IFPRI estuvo a cargo de la

evaluación

• En general, la evaluación es hecha por una organización

externa • Esto, para prevenir sesgos, conflictos de interés y

asegurarse que la evaluación sea transparente.

• La organización evaluadora trabaja muy de cerca con los

implementadores del programa. Otras características: • Experiencia implementando evaluaciones experimentales

• Experiencia recolectando datos de alta calidad en países en

vías de desarrollo

• Conocimientos avanzados de estadística y economía

• Conocimientos del contexto del país en el que se hace la

evaluación

• Disponibilidad para invertir tiempo en el proyecto

Lecciones aprendidas: Logística II

• Diferentes ventajas y desventajas de trabajar con

diferentes tipos de partner: • Gobierno

• Ventajas: mayor alcance del programa, mayor posibilidad de

expandir programa y mantenerlo en el tiempo.

• Desventajas: requiere negociaciones a un nivel de política alto, la

evaluación puede ser frustrada por motivos políticos, problemas

con presupuestos para evaluaciones a largo plazo.

• ONGs • Ventajas: proveen mayor flexibilidad para testear diferentes

tratamientos y tratar de contestar varias preguntas teóricas, en

general son más receptivas a ideas nuevas y tienen mayor

facilidad para cambiar sus operaciones.

• Desventajas: presupuestos limitados, pueden ser programas de

poco alcance.

Lecciones aprendidas:

Alianza Evaluador - Implementador Evaluador Implementador

• Cooperación durante todas las etapas de la evaluación

• Acuerdo sobre del diseño de evaluación, preguntas a

contestar, dimensiones en que se evaluara el éxito y

resultados a medir.

• Uso de la evidencia para toma de decisiones.

Evalúan el programa Implementan el

programa Claves para el éxito

Roles del evaluador e implementador

Evaluador Implementador

Diseño de evaluación e incorporación de evaluación al programa

• Implementación de

programa

• Datos Administrativos

• Apoyo como contraparte

• Desarrollo de encuestas

• Recolección y análisis datos

• Interpretación de resultados en base a

resultados cuantitativos y cualitativos

• Publicación y difusión de resultados

Roles del evaluador e implementador

Evaluador Implementador

Muy importante que la organización evaluadora monitoree la

implementación del programa durante todas las etapas para

asegurarse que la asignación aleatoria sea respetada.

Línea de tiempo de una evaluación

Diseño evaluación y Instrumentos

Pilotaje Línea Base Seguimiento Análisis de

Datos

El tipo de programa a evaluar determina: – Tiempos: Duración de la evaluación vinculada a la duración del

programa y sus efectos

– Costos: Dependen de los tiempos del programa, datos a

recolectar y tipo de aleatorización. • La mayoría de los costos de una evaluación provienen de las

encuestas, recolección de datos.

PROGRESA:

• Se seleccionaron 506 comunidades en 7 estados

• 320 = tratamiento

• 186 = control

• 24,077 hogares

• Los hogares en las comunidades del grupo de tratamiento

empezaron a recibir el programa en mayo de 1998.

• Los hogares en las comunidades del grupo de control

empezaron a recibir el programa en diciembre de 1999.

• Recolección y análisis de datos.

Línea de tiempo de una evaluación

Lecciones aprendidas:

Institucionalización de la evaluación

• Algunos gobiernos en AL han empezado a institucionalizar el uso de las evaluaciones de impacto para el diseño de políticas (Briceño and Gaarder, 2010) – Agencias especiales: CONEVAL (México), DIPRES (Chile), SINERGIA (Colombia)

– A cargo de comisionar y usar las evaluaciones para ajustar la política correspondiente

• B&G (2010) identifican cuatro factores clave para dicha institucionalización: – Un sistema democrático con una oposición vibrante

– Un ejemplo emblemático de los beneficios de las evaluaciones para el diseño de políticas

– Un defensor a ultranza (champion) de las evaluaciones, que pueda trabajar el proceso político para la institutionalización

– Asistencia técnica efectiva para la producción de evaluaciones de impacto de calidad

18

Promoviendo Evaluaciones:

Las experiencias de Chile y Perú

Varios gobiernos han incorporado las evaluaciones

rigurosas a su proceso de diseño de políticas públicas.

Promoviendo Evaluaciones

Varias organizaciones de desarrollo apoyan y requieren

evaluaciones rigurosas para los proyectos que financian.

Promoviendo Evaluaciones

Dos Iniciativas de J-PAL en América Latina

Promoviendo Evaluaciones

Comisión Brújula, Chile

Promoviendo Evaluaciones

Comisión Brújula Chile

• Surge a petición del Ministerio de

Planificación de Chile. • Promover nueva forma de diseñar

políticas públicas en base a

evidencia.

• Juntar a encargados de políticas

públicas con académicos para

incorporar evaluaciones al diseño

de políticas

• Se identificaron problemas

sociales importantes en Chile • Se desarrollaron 4 propuestas

para resolver estos problemas,

todas incorporando una

evaluación aleatoria.

Promoviendo Evaluaciones

Comisión Brújula Chile

• Impacto de la Comisión: • 1 de las propuestas está

siendo implementada y

evaluada actualmente

• Programa que busca darle a

los padres de familia un

mayor campo de elección

durante el proceso de

selección de colegios

(información sobre calidad

de los colegios).

Promoviendo Evaluaciones

Comisión Brújula Chile

• Programa: • Se envían cartillas con

información sobre elegibilidad

para asistir a los colegios

subvencionados a los padres

de familia de estudiantes

vulnerables que están por

entrar al pre-kinder, kinder o

primero básico.

• Se busca medir impacto en

logros académicos y en

características de las escuelas.

Promoviendo Evaluaciones

Comisión Brújula Chile

• Las otras propuestas no han

podido ser implementadas: • Unas están en licitación

• Otras no han sido factibles debido

a cambios en el escenario político,

problemas de logística, etc.

• Cuáles? 1. Incentivos al profesor

(preparación de clases,

desempeño)

2. Programa de rehabilitación y

reinserción en los centros

penales

3. Red de apoyo para jóvenes en

riesgo

Promoviendo Evaluaciones

Comisión Brújula Chile Las otras propuestas de la

Comisión Brújula:

Oportunidades para los

jóvenes: • Entregar habilidades e

información a los jóvenes que los

ayude a evitar comportamientos

riesgosos y a acceder a los

mercados laborales a través de

mentorías, actividades

recreativas, servicios de

intermediación laboral, etc.

Promoviendo Evaluaciones

• Iniciativa de MIDIS, MEF, J-

PAL, IPA y Soluciones

Empresariales contra la

Pobreza • Grupo de académicos peruanos

trabajando con miembros del

gobierno

• Dos temas: desnutrición

crónica, oportunidades

económicas ara hogares

rurales

• Resultado: 7 propuestas • Algunas propuestas han

aplicado a financiamiento para

ser implementadas (3IE, SSRC,

Citi Foundation, USAID-DIV)

Promoviendo Evaluaciones

• Propuestas de innovaciones

con evaluación • Inclusión financiera en zonas

rurales a través de

tecnologías de puntos de

venta

• Innovaciones para el apoyo a

programas de desarrollo

temprano (CUNAMAS) • Monitoreo comunitario

• Juegos en celular para adopción

de prácticas saludables

• Almuerzos escolares y ajustes

a la jornada escolar

• Formación laboral y de

emprendimientos para

jóvenes rurales

¿Qué hemos aprendido sobre promover

evaluaciones?

• Necesidad de un mapeo de actores y actividades

relacionados a los objetivos planteados

• Interacción cercana con los funcionarios públicos

claves, desde el inicio del proceso

Qué hemos aprendido?

Micro-finanzas

Micro-finanzas

Evidencia mixta.

Proveer micro-créditos parece no tener el impacto

dramático que se esperaba, aunque si tiene efectos

modestos en algunos contextos.

Algunos individuos utilizan los servicios financieros para

suavizar su consumo, administrar el riesgo y hacer

inversiones.

Estudios sugieren que es mejor que las persones

ahorren a que presten dinero para salir de la pobreza.

Micro-finanzas

Evaluaciones aleatorias han encontrado que los

programas de microcrédito no son la panacea que se

creía que eran.

1) Banerjee et al (2009) en India:

• Se evalúa el impacto de la apertura de centros de

micro-finanzas en zonas pobres de India.

• Resultados:

• Efectos heterogéneos en cuanto a cambios en

consumo de bienes durables y no durables.

• No encuentra efectos en salud, educación o

decisiones de la mujer.

Micro-finanzas

2) Karlan & Zinman (2010) en Filipinas:

• Investigan el impacto de la expansión de un programa

de créditos para micro-emprendedores en Manila.

• Resultados:

• No encuentran evidencia que los micro-créditos

lleven a mayores ganancias, negocios más

grandes, o mayor consumo dentro del hogar.

• Encuentran que en algunos casos las ganancias

de los negocios incrementan, pero se debe a que

los negocios se hacen más pequeños al despedir a

trabajadores no productivos.

Micro-finanzas

Estas evaluaciones fueron hechas en India y Filipinas,

pero en Latinoamérica no se ha hecho nada parecido

• efectos de equilibrio general

• efectos de largo plazo

También está pendiente la pregunta sobre

• cuál es el impacto de los microcréditos en el

contexto latinoamericano?

Para una revisión de las evaluaciones experimentales

hechas en esta área:

Bauchet, J et. al. (2011). “Latest Findings from

Randomized Evaluations of Microfinance”

Micro-finanzas

Capacitación financiera:

• También hay evidencia mixta.

• Mucho depende de cómo se da la capacitación y

cómo se transmiten los conceptos financieros.

Micro-finanzas

República Dominicana:

• Drexler, Fischer y Schoar realizaron una evaluación

de un programa de capacitación.

• Evaluación fue entre 2006 y 2008.

• Habían dos tipos de curso:

• Capacitación Tradicional

• Conceptos básicos de contabilidad.

• Capacitación Simplificada

• Reglas y estrategias generales.

Micro-finanzas

República Dominicana:

Resultados

• La capacitación tradicional no tuvo ningún impacto en

las personas capacitadas.

• La capacitación simplificada mejoró las prácticas de

negocios, incrementaron ventas por 18,5 durante

semanas que consideraban como de peor

desempeño.

Micro-finanzas

Capacitaciones financieras:

• En Latinoamérica, aparte de las evaluación

presentadas, se han hecho pocas evaluaciones

experimentales sobre este tema.

• Sin embargo, estudios de otras regiones nos han

ayudado a entender cómo mejorar las capacitaciones

financieras.

Micro-finanzas

Capacitaciones financieras:

¿Cómo mejorar programas de capacitación financiera?

• Incorporar redes sociales.

• Identificar y enfocarse en los grupos vulnerables

que más necesitan la capacitación.

• Adaptar el contenido a los intereses de las

personas siendo capacitadas.

• Ser creativos en la forma de dar las capacitaciones

(juegos, videos, sesiones interactivas).

• Considerar que la oferta de los servicios puede ser

deficiente.

World Bank: Xu & Zia (2012).

¿Hacia adónde vamos?

Como hemos visto, muchos de los resultados de las

evaluaciones dependen del contexto en el cual el

programa se implementa y de cómo se implementa el

programa.

Necesitamos más evaluaciones en diferentes contextos

para conocer cómo funcionan los programas en

diferentes países y así incrementar la validez externa de

las evaluaciones

• Pero las mismas deben organizarse

sistemáticamente para maximizar el aprendizaje

social

• Considerar costo-efectividad

• Evaluaciones de los mecanismos de los

programas

www.povertyactionlab.org/es/educación

Apuntamos a este tipo de análisis para todos los sectores/temas

¡Gracias!