El rol de la evidencia científica en la innovación de las políticas de protección social
Ryan Cooper
Director Ejecutivo J-PAL
LAC
① ¿Cómo se produce evidencia?
② Valor de evidencia en Política: Ejemplo Oportunidades
③ ¿Por qué no se produce suficiente evidencia?
④ Soluciones Estructurales y Oportunidades
Agenda
①¿Cómo se produce evidencia?
Evidencia Causal
Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto.
• ¿Cuál es el impacto de un programa de transferencias condicionadas en educación?
• ¿Cuál es el efecto de reducir el tamaño de clases en los puntajes de los estudiantes?
• ¿Cuál es el efecto del encarcelamiento en la reincidencia criminal?
Efecto de política A en
resultado BCuatro elementos importantes:
El problema y la población que presenta problema.
Resultado esperado (que mide resolución del
problema).
Política (programa, política, tratamiento, etc)
Punto referencia (Contrafactual).
¿Cómo estaría la población que presenta
el problema si no recibiera programa?
Tipo de Escuela Puntaje académico
Aporte Padres
Educación Padres Ingresos
Salud
Pre-Básica
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
NO OBSERVABLES
Complejidad medir efecto causal
7
Resultados de población objetivo
Resultados que población objetivo hubiera obtenido si no
hubieran participado en el programa (hipotético)
IMPACTO (evidencia causal)
¿Cómo se produce evidencia?
Estimación del Contrafactual
10 días enfermo
20 días enfermo
Ya no podemos
identificar el impacto
=≠
¿Situación sin programa de individuo que recibe programa?
• ¿Estamos aislando el efecto del programa de otros elementos relevantes?
• ¿Estamos comparando manzanas con manzanas?
Estimación del Contrafactual
10
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Estimación del Contrafactual
11
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Impacto
Lo que hubiera pasado
Estimación del Contrafactual
12
Tiempo
Ing
reso
s
Programa deTransferencias
T=0Inicio Programa
Lo q
ue h
ubier
a
pasa
do Impacto
Estimación del Contrafactual
13
Evaluaciones experimentales– Grupos de control y tratamiento creados
aleatoriamente
– Muy confiables
Métodos no experimentales1. Participantes antes vs. Participantes después
2. Diferencia simple (participantes vs. no participantes)
3. Emparejamiento
4. Diferencias en diferencias (combina 1 y 2)
5. Variables instrumentales
6. Regresión discontinua
Estimación del Contrafactual
14
T
C
¿Cómo se produce evidencia?
②¿Valor evidencia. Ejemplo Oportunidades?
www.untechoparamipais.org
Expectativa rol evidencia en política
Eficiencia, Innovación y Democracia
Ejemplo Oportunidades
Valor de evidencia
17
Programas y
Políticas Sociales
Ideología• Propia• Externa
Apoyo• Presupuesto• Político• Capacidad
Conocimiento• Evidencia• Experiencia• Personal• Colectiva
¿Cómo se hace política pública?
¿Por qué evaluar impacto?
18
• 3 problemas
Asignación presupuestaria coja
Innovación débil o nula
Política polarizada – Democracia frágil
¿Por qué evaluar un programa?
19
• ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas?
Asignación presupuestaria basada en evidencia
Innovación
Mejores procesos políticos
Expandir las intervenciones más costo-efectivas
Descubrimiento de nuevas ideas efectivas
Mayor costo de utilizar argumentos extremos y menor
polarización política
• Cambio estrategia combate a la pobreza.
• Fortalecer imapcto redistributivo de gasto público.
• Incentivar acumulación de Capital Humano en segmentos más pobres de población.
• Reforma profunda en México.
Oportunidades: El ejemplo
¿Qué fue lo que permitió el éxito del programa?
• Empoderamiento político.
• Apoyo externo del BID.
• Avalado por evidencia científica.
Oportunidades: El ejemplo
¿Rol de la evidencia en éxito?
• Dio sustentabilidad política al programa en el tiempo.
• Entregó información al mundo de efectividad innovación.
• A muy bajo costo político y financiero. – Político: Una vez que hay piloto, diseño experimental es
óptimo y trivial.– Financiero: (a) información bien público(b) Orden de magnitud de producción evidencia bajo en relación a producción de programa en escala.
Oportunidades: El ejemplo
Inicio
Gran Crecimiento en 10 años
La evaluación de impacto es útil también para probar pequeñas modificaciones
• Cambiar la estructura de un PTMC en Colombia pudo mejorar drásticamente el impacto del programa para un costo dado (Barrera-Osorio, Bertrand, Linden,
et al; 2011) – Postergar parte de las transferencias condicionadas a una
suma fija a la hora de reinscripción aumenta la inscripción sin disminuir la asistencia diaria.
– Incentivar la graduación en vez de incentivar sólo la asistencia ha demostrado ser particularmente eficaz.
• Transferencia Condicionada vs. No Condicionada. (Baird, Chirwa, Garfein, et.al.; 2011)
– Estimación del efecto relativo entre transferencias condicionadas y no condicionadas en Malawi.
③¿Por qué no se produce suficiente evidencia?
Diferencia abismal de evidencia en relación a las Ciencias Naturales
Medicina Ciencias sociales0
20000
40000
60000
80000
100000
120000
140000
160000
Número de evaluaciones de impacto experimentales
Algunas posibles causas de la sub-producción de evidencia
• Problemas de Agencia – Multiples agentes con intereses distintos
• Ilusión de Irrelevancia– Gran confianza al “sentido comun” y
sobreestimación de los costos
Algunas posibles causas de la sub-producción de evidencia
• Los tiempos de evaluación no siempre se ajustan a los ciclos políticos
• Evaluación vista como herramienta de control y no de aprendizaje
• Carácter de bien público de la información
4) ¿Soluciones estructurales y oportunidades?
31
Ideas estructurales
Promover mecanismos formales para institucionalizar el aprendizaje
Fomentar una cultura de evidencia y aprendizaje en el quehacer público
Empoderar a la ciudadanía para demandar evidencia en las políticas públicas
1.
2.
3.
32
Ideas oportunistas
Acercar a políticos con académicos
Aprovechar Pilotos
Facilitar el uso de evidencia
1.
2.
3.
Top Related