J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto...
Transcript of J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto...
![Page 1: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/1.jpg)
J-PAL y Evaluaciones Experimentales
Ryan Cooper
J-PAL
Latinoamérica y el Caribe
![Page 2: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/2.jpg)
Presentación
J-PAL:
Qué es, la misión y su importancia.
En pos de la misión.
Evaluación de Impacto en la práctica: Consideraciones
Tipo de evaluación: Procesos vs. Impacto.
Carácterísticas claves de una buena y útil evaluación.
Consideraciones Logísticas.
![Page 3: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/3.jpg)
J-PAL
Qué es, la misión y su importancia
![Page 4: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/4.jpg)
J-PAL Red de 70 académicos en todo el mundo, unidos por
el uso de evaluaciones experimentales
![Page 5: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/5.jpg)
J-PAL
Misión:
Reducir la pobreza garantizando que las políticas públicas estén basadas en evidencia científica.
![Page 6: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/6.jpg)
J-PAL
Motivación:
Utilidad de Evaluación de Impacto
Complejidad de Evaluar Impacto
![Page 7: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/7.jpg)
Utilidad de Evaluar Impacto
![Page 8: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/8.jpg)
Utilidad de evaluar impacto
Innovar
Optimizar uso de $$
Optimizar programas
Sostenibilidad política
“Fundraising”
![Page 9: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/9.jpg)
Por qué evaluamos
Resultados positivos pueden implicar:
– Escalar programas (+ optimizar + sustentabilidad + “fundraising”)
• PROGRESA/Oportunidades – México • Capacitación laboral jóvenes - Colombia • Programas de desarmamiento y desmovilización - Liberia
![Page 10: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/10.jpg)
Por qué evaluamos
- Descontinuar (o rediseñar)
• Textos escolares - Kenia
• Computadoras en escuelas - Colombia
![Page 11: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/11.jpg)
Costo-efectividad
Incentivos/Costos Reducidos
Intervenciones de Salud
Información
Resultados Múltiples
J-PAL Costo-Efectividad: años adicionales de asistencia escolar por cada $100 gastados
Figura 1:
![Page 12: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/12.jpg)
Para Generar Conocimientos • Evaluaciones experimentales son un bien público.
• Conocimientos importantes sobre cómo sobrepasar la pobreza.
• Útiles para gobiernos en todo el mundo.
12
¿Por qué evaluar?
![Page 13: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/13.jpg)
Complejidad de Evaluar Impacto
![Page 14: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/14.jpg)
Complejidad de medir efectos causales
Type of school Simce
Parent payment
Parent education Income
Repeated
Pre-School
NO OBSERVABLES
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
![Page 15: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/15.jpg)
Evaluaciones de Impacto Queremos medir la diferencia entre:
Resultados que los participantes del
programa obtienen un tiempo después
de participar en el programa
Resultados que esos mismos
participantes hubieran obtenido en ese
mismo momento si no habrían
participado en el programa
IMPACTO
![Page 16: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/16.jpg)
Evaluaciones de Impacto
Desafío:
¿Cómo construimos el contrafactual?
Ingresos: 100 pesos
Impacto:
Ingresos 30% más
altos
Ingresos: 70 pesos
Capacitación Financiera
![Page 17: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/17.jpg)
Evaluaciones de Impacto
¿Qué pasaría en esta situación?
Ingresos: 100 pesos
¿Impacto:
Ingresos 30%
mayores?
Ingresos: 70 pesos
En este caso, nuestros grupos no son comparables
![Page 18: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/18.jpg)
Solución: Evaluación Experimental
![Page 19: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/19.jpg)
Solución: Aleatorizar Antes que comience el programa, individuos elegibles
son asignados aleatoriamente a dos grupos:
Grupo de Tratamiento
Grupo de Comparación
Los grupos son estadísticamente idénticos antes del programa
Y cualquier diferencia en la línea final puede ser atribuida al programa
![Page 20: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/20.jpg)
Aleatorio No Aleatorio
20
G1 G2
![Page 21: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/21.jpg)
Ejemplo Progresa-Oportunidades
Conditional Transfer Private expend in health
Age of HH
HH Size Dirt floor
Baseline expenditure in health
-14.2
-19.5
-16.2
-30
-33.5
¡Consistencia de Resultado depende de la información disponible!
![Page 22: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/22.jpg)
Expermiental vs. Non-Experimental
Conditional Trans Health Expend.
Age of HH
HH size dirt floor
Baseline expenditure
-7.6
-7.3
-7.5
-7.6
-7.7
Consistencia NO depende de información disponible.
-14.2
-19.5
-16.2
-30
-33.5
![Page 23: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/23.jpg)
J-PAL: En pos de la misión
![Page 24: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/24.jpg)
348 Evaluaciones completadas y en proceso
![Page 25: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/25.jpg)
Nuestras actividades
![Page 26: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/26.jpg)
Alcanzando nuestras metas
348 evaluaciones
Creemos que + de 60 MM beneficiados
+ de 1.200 personas
![Page 27: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/27.jpg)
J-PAL en el mundo
La oficina regional para Latinoamérica y el Caribe se encuentra en la Pontificia Universidad Católica de Chile, desde donde se coordinan los
proyectos en la región.
![Page 28: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/28.jpg)
Proyectos en LAC
En Latinoamérica y el Caribe, tenemos evaluaciones en las siguientes áreas:
• Educación
• Salud
• Finanzas
• Mercados Laborales
• Servicios Urbanos
![Page 29: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/29.jpg)
Apoyando PP Basadas en Evidencia
Proyectos estratégicos con gobiernos de la región:
Comisión Brújula Chile
![Page 30: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/30.jpg)
Evaluaciones Experimentales
Varios gobiernos han incorporado las evaluaciones experimentales a su proceso de diseño de políticas públicas
![Page 31: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/31.jpg)
Evaluación de Impacto en la práctica:
Consideraciones importantes
![Page 32: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/32.jpg)
Tipos de Evaluación:
Procesos / Impacto
![Page 33: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/33.jpg)
Diferentes tipos de evaluación
Necesidades
Insumo
Producto
Resultado Intermedio
Impacto Objetivo a largo plazo
Estudiantes en escuelas
pobres no tienen libros de texto, lo
que resulta en poco
aprendizaje
Gobierno compra libros
Las escuelas reciben y usan los libros del
Gobierno
Los estudiantes usen los libros y pueden estudiar y aprender mejor
Mejores puntajes en
pruebas
Ingresos más altos cuando
los estudiantes ingresen al mercado laboral
Análisis de necesidades Evaluación de Procesos Evaluación de Impacto
Evaluación de Impacto de Procesos
![Page 34: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/34.jpg)
Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes:
Evaluación de Proceso
• ¿Implementado como planificado?
– Libros distribuidos.
– Tiempo y calidad asistente con familia.
– Rotación de tutores de lectura.
– ¿faltó un proceso o insumo?
Evaluación de Impacto
• ¿El programa consiguió su objetivo final?
• Permite comparar costo-efectividad.
• ¡+ relevante cuando Eval. Procesos es +!
![Page 35: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/35.jpg)
Diferentes tipos de evaluación
Combinar ambos tipos de evaluación:
• Medir impacto sin procesos:
– Efecto de “caja negra”.
– Estoy midiendo el plan o algo diferente.
• Medir procesos sin impacto.
– Valor en si mismo en corto plazo. Pero…
– Asume que el programa es útil y costo efectivo.
¿Evaluación de Impacto de procesos?
• Si tengo dudas importantes sobre el diseño.
Eval de Proceso / Impacto contestan preguntas diferentes:
![Page 36: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/36.jpg)
Consideraciones importantes:
3 dimensiones a tener en cuenta.
![Page 37: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/37.jpg)
Consideraciones – para evaluación relevante
1. Relevancia para Política Pública
1. ¿Pregunta de política relevante?
2. ¿Está el programa suficientemente maduro para ser evaluado?
3. ¿Son los resultados generalizables? ¿Es esto importante?
4. “Para hacer”: Muestra representativa – Costos – Evaluación Procesos
2. Confiabilidad en la medición de impacto
1. Estrategia de Identificación adecuada (bien justificada).
2. Poder Estadístico.
3. Protocolo de análisis predefinido (Registro de hipótesis)
3. Calidad de recolección de datos
1. Seleccionar, entrenar y hacer pilotos.
2. Monitoreo y Control de Calidad
![Page 38: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/38.jpg)
Consideraciones Logísticas:
Etapas / Características de un evaluador /
Relaciones institucionales
![Page 39: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/39.jpg)
Logística de una Evaluación Experimental
¿Quién las hace?
Personas con: • Experiencia implementando evaluaciones experimentales • Experiencia recolectando datos de alta calidad en países en vías de desarrollo • Conocimientos avanzados de estadística y economía
• Conocimientos del contexto del país en el que se hace la evaluación
• Disponibilidad para invertir tiempo en el proyecto
![Page 40: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/40.jpg)
Etapas de una evaluación
Diseño evaluación y Instrumentos
Pilotaje Línea Base Seguimiento Análisis de
Datos
El tipo de programa a evaluar determina: – Tiempos de la evaluación dependen a la duración del programa y
sus efectos
– Costos: Dependen de los tiempos del programa, datos a recolectar
y tipo de aleatorización. • La mayoría de los costos de una evaluación provienen de las
encuestas, recolección de datos.
![Page 41: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/41.jpg)
Alianza Evaluador - Implementador
Académicos Gobiernos, NGOs
• Cooperación durante todas las etapas de la evaluación • Acuerdo sobre del diseño de evaluación, preguntas a contestar, dimensiones
en que se evaluara el éxito y resultados a medir, tiempos de publicación. • Uso (consideración) de la evidencia para toma de decisiones.
Evalúan el programa Implementan el programa
Claves para el éxito
![Page 42: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/42.jpg)
Roles del evaluador e implementador
Académicos Implementador
Diseño de evaluación e incorporación de evaluación al programa
Implementación de programa
Datos Administrativos
Apoyo como contraparte
Desarrollo de encuestas
Recolección y análisis datos
Interpretación de resultados en base a resultados cuantitativos y cualitativos Publicación y difusión de resultados
![Page 43: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/43.jpg)
¿Preguntas?
![Page 44: J-PAL y Evaluaciones Experimentales...Diferentes tipos de evaluación Necesidades Insumo Producto Resultado Intermedio Impacto Objetivo a largo plazo Estudiantes en escuelas pobres](https://reader034.fdocumento.com/reader034/viewer/2022050502/5f9496d7fc2eab069d61cc66/html5/thumbnails/44.jpg)
¡Gracias!