Introducción Ev. Necesidades . Teórica Ejemplo Chile …. Midiendo... · Identificar indicadores...
Transcript of Introducción Ev. Necesidades . Teórica Ejemplo Chile …. Midiendo... · Identificar indicadores...
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Clase 2 Midiendo efectos causales
2
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Horario Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo
8:30:00 8:45:00 Registro de participantes
8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior
9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4
Evaluaciones Experimentales II: ¿Cómo implementarlas?
Caso de estudio 3: ¿Cómo aleatorizar?
10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES
10:30:00 10:45:00 Coffee Break
10:45:00 12:00:00
Clase 1 ¿Por qué evaluar impacto?
Caso de estudio 2: Identificando el contrafactual
Taller: Elaborando Términos de
Referencia
RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS
12:00:00 13:15:00
Clase 2 Midiendo efectos causales
Clase 5 Tamaño muestral y
poder estadístico
Clase 8 Aspectos operativos de una
evaluación de impacto
CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER
13:15:00 14:30:00 Almuerzo
14:30:00 15:45:00
Caso de estudio I: Teoría de Cambio
Clase 6 Amenazas y análisis
Clase 9 De la evidencia a la acción
PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS
15:45:00 16:00:00 Coffee Break Evaluación final de conocimientos
16:00:00 17:15:00
Clase 3 Evaluaciones Experimentales I: ¿Por qué
hacerlas?
Clase 7 Evaluación de principio a fin Cierre de curso y entrega de
diplomas
FRANCISCO GALLEGO LEIGH LINDEN
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Objetivos
Después de esta sesión los participantes
serán capaces de:
Identificar una evaluación de necesidades.
Definir los pasos de una teoría de cambio.
Precisar la cadena causal de un programa.
Identificar indicadores que midan cada paso
de la teoría de cambio.
Detallar posibles fuentes de datos.
4
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Esquema de presentación
5
1. Introducción
2. Evaluación de Necesidades
3. Evaluación Teórica de Programas
4. Medición e indicadores
5. Ejemplo Microemprendimiento en Chile
6. Datos
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
1. Introducción
6
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
La presentación pasada
7
Se habló de:
• ¿Cuáles son los componentes de evaluación
de un programa?
• ¿Por qué evaluar impacto de manera
rigurosa?
• ¿Qué tan riguroso es el proceso?
• ¿Cuál es la importancia de evaluar
aleatoriamente?
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
8
Pero, antes de salir a
terreno, es
importante ser claros
en lo que estamos
evaluando y cómo
medirlo.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
Los resultados
nos dan los
OBJETIVOS de
un programa
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿Las METAS se
cumplieron?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con otras
alternativas?
Componentes de una evaluación Evaluación ExAnte
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
2. Evaluación de Necesidades
10
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Evaluación de Necesidades: Diagnosticar
Evaluación de
Necesidades
La evaluación de necesidades permite
contestar las siguientes preguntas:
1. ¿Qué grupos representarán la población
objetivo?
2. ¿Qué problemas enfrenta la población?
3. ¿Cuáles podrían ser las posibles causas
de estos problemas?
4. ¿Qué medidas ya se están tomando para
encarar el problema?
5. ¿Qué otras medidas podrían
implementarse?
Puede ser conducida utilizando indicadores
sociales, encuestas y censos, entrevistas, etc.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Evaluación de Necesidades: Diagnosticar
Evaluación de
Necesidades
Las respuestas a estas preguntas nos
permiten:
1. Entender el contexto de la población
objetivo.
2. Identificar los problemas que encaran.
3. Ver posibles fallas en programas
existentes.
4. Identificar sinergías/duplicaciones de
programas.
5. Definir los diferentes grupos dentro de la
población objetivo.
Esta información es indispensable a la hora de
diseñar un programa o intervención.
• Incluso nos puede indicar si es necesario o no
hacer una intervención.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Ejemplo 1: Incrementando el ahorro Comprendiendo un poco más….
¿Necesidad?
Frecuentemente los hogares en situación de pobreza en
ahorran de diversas manera informales. Esto es riesgoso.
¿Potencial Solución?
Banca formal
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Cuál es el principal obstáculo al ahorro formal?
14
1. Falta de ingresos
2. Falta de información
sobre la banca formal
3. Temor a la banca formal
4. Distancia a bancos
5. Altos cobros de
comisiones
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Cuál es el obstáculo al ahorro formal?
Altas comisiones de retiro hacen menos probable
que las personas ahorren en el sector formal.
>
Ejemplo 1: Incrementando el ahorro
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Potencial solución?
Reducir las tasas de transacción de retiro (comisión)
que cobra el banco y dar tarjetas de débito gratis.
Esto responde a la necesidad si logra hacer del ahorro
formal más atractivo.
Ejemplo 1: Incrementando el ahorro
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Ejemplo 1: Incrementando el ahorro
17
Componente Descripción
Necesidad Incrementar el ahorro formal
Problema Costos de retiro de bancos son muy altos
Solución Reducir los costos de transacción de retiros
Diseño Una cuenta bancaria con tarjeta de débito gratis que
rebaja el costo de realizar retiros bancarios
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Bajas comisiones de retiro generarán más ahorro?
Liquidez puede fomentar mantener saldos en
cuentas de ahorro.
Pero puede disminuir el nivel de ahorro si hay
problemas de consistencia intertemporal.
• Ashraf, Karlan y Yin(2006) muestran en Filipinas
que cuentas de ahorro con compromiso generan
mayor ahorro que cuentas de ahorro “normales”.
Fundamental entender el problema.
Ejemplo 1: Incrementando el ahorro
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Ejemplo 1: Incrementando el ahorro - Diseño altenativo
19
Componente Descripción
Necesidad Incrementar el ahorro formal
Problema Inconsistencia inter-temporal
Solución Aumentar los costos de transacción de retiros
Diseño
Una cuenta bancaria en que no se puedan hacer
retiros hasta cierto monto o fecha pre-fijada por el
ahorrante.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Componente Descripción
Necesidad Disminuir tasas de embarazo juvenil
Problema Baja expectativas profesionales
Solución Mejorar el acceso a la información sobre posibilidades y apoyo motivacional
Solución Alternativa Información sobre soluciones anticonceptivas
Diseño Programa de mentoría en los colegios ¿Cómo?
Ejemplo 2: Embarazo Adolescente
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
3. Evaluación Teórica de Programas
21
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Evaluación de Teórica de Programas: Diseñar
Modela la teoría que está detrás del
programa, presentando un plan viable
y factible para mejorar la condición
social del objetivo. Las metodologías
usadas en la evaluación teórica de
programas incluyen la Teoría de
Cambio.
Evaluación Teórica de Programas
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Teoría de Cambio: Cadena Causal del programa
Representa la cadena causal entre:
Necesidades/Objetivos
Insumos
Productos
Resultados intermedios
Impactos (esperados y no deseados)
Facilita definición de hipótesis a verificar.
Facilita construcción de indicadores para medir
distintas metas del programa.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
OBJETIVOS/
NECESIDADES
INSUMOS / ACTIVIDADES
PRODUCTOS RESULTADOS
INTERMEDIOS IMPACTO
Teoría de Cambio: Cadena Causal
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Cadena Causal
25
OBJETIVOS / NECESIDADES
1. Responden a una necesidad
2. Especifican una población objetivo
3. Son medibles
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Cadena Causal
26
INSUMOS / ACTIVIDADES
1. ¿Qué puedo hacer para lograr objetivo?
2. Los recursos de los que dispone el proyecto
3. Las acciones emprendidas y el trabajo realizado para transformar los insumos en productos
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Cadena Causal
27
PRODUCTOS
1. Consecuencia directa de la acción / intervención
2. Bienes tangibles y servicios que producen las actividades
3. Directamente bajo el control del organismo ejecutor
4. Deben ser medibles
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Cadena Causal
28
RESULTADOS INTERMEDIOS
1. Resultados que se espera alcanzar una vez que la población beneficie de los productos del proyecto
2. Se dan normalmente a corto o mediano plazo
3. Deben ser medibles
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Cadena Causal
29
IMPACTO
1. Lo que quiero cambiar con el programa
2. Directamente relacionados con objetivos
3. Son medibles
4. Alcanzados normalmente a largo plazo
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
OBJETIVOS
•Aumentar el nivel de ahorro formal en las familias más pobres
INSUMOS
•Cuenta bancaria con retiros gratis
PRODUCTOS
•Clientes abren cuenta y reciben tarjeta de débito gratis
RESULTADOS INTERMEDIOS
• Incrementa la cantidad de dinero que guardan en los bancos
IMPACTOS
• Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc.)
Ejemplo 1: Incrementando el Ahorro
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
OBJETIVO
• Reducir tasa embarazo Juvenil
INSUMOS
• Sistema de Mentoría Juvenil en los Colegios
PRODUCTOS
• Adolescentes sensibilizadas
RESULTADOS INTERMEDIOS
• Mayores tasas de inscripción en becas, actividades de capacitación, etc.
IMPACTO
• Disminución tasa de embarazo juvenil
Ejemplo 2: Embarazo Adolescente
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Supuestos
Condiciones externas que se deben
cumplir para que la cadena causal se
mantenga intacta
Muchas veces reflejan condiciones
sociales, políticas o económicas que
forman parte del contexto de una
evaluación
32
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Supuestos y la Cadena Causal
Los supuestos se encuentran implícitos en
la teoría de cambio
Si no se cumplen en la realidad, pueden
afectar el impacto del programa
Se deben considerar y analizar a la hora
de definir la cadena causal para prevenir
posibles obstáculos y problemas
33
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
OBJETIVOS
•Aumentar el nivel de ahorro formal en las familias más pobres
INSUMOS
•Cuenta bancaria con retiros gratis
PRODUCTOS
•Clientes abren cuenta y reciben tarjeta de débito gratis
RESULTADOS INTERMEDIOS
• Incrementa la cantidad de dinero que guardan en los bancos
IMPACTOS
• Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc.)
Supuestos: Ejemplo
•Nivel de ahorro formal es bajo en familias pobres
• Familias pobres desean ahorrar de manera formal
Supuestos
•Una de las causas del poco ahorro formal es el costo de una cuenta bancaria
•El público objetivo sabe sobre el programa
•Van al banco y abren una cuenta
•Usan la nueva cuenta bancaria
•No hay otros costos que impida que guarden dinero en el banco
• La nueva cuenta bancaria formal causa que las personas ahorren más
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Cuál es el mejor momento para definir la teoría de cambio?
35
1. Antes del diseño.
2. Antes de la
implementación, y
3. Antes de la evaluación.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
4. Medición e indicadores
36
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Indicadores
37
Una definición objetiva del éxito de un programa tiene
que estar basado en resultados tangibles.
Para esto necesitamos desarrollar indicadores que nos
permitan:
Cuantificar los insumos en la intervención
Evaluar la implementación de la intervención
Cuantificar los resultados e impactos
Registrar las percepciones de la intervención.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Indicadores
38
En algunos casos el desafío está en definir
indicadores. Programa de capacitación para micro-emprendedores y su
efecto en empoderamiento femenino.
Buenos indicadores deben ser:
Claros: precisos y sin ambigüedad
Relevantes: apropiados para la medición en cuestión
Económicos: fáciles de medir y recolectar
Adecuados: suficientes para detectar impactos en hipótesis
claves
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Indicadores
39
En otros casos el desafío está en la medición.
Por ejemplo: Corrupción: Los actos de corrupción son difíciles de medir
porque por definición quienes comenten estos actos tienden a
esconderlos.
Ahorro: El ahorro es difícil de medir:
• Problemas de agregado: existen diferentes fuentes de
ahorro, incluyendo formales e informales.
• Problemas de medición a través de tiempo: El momento de
la medición (justo antes o después de un retiro) puede
afectar en gran medida los resultados.
• Ahorro individual? Familiar?
• Autodeclarado
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Indicadores: Ejemplo Ahorro
INSUMOS
•Ofrecimiento de cuentas bancarias
PRODUCTOS
•Número de Cuentas bancarias abiertas
RESULTADOS INTERMEDIOS
•Número de retiro de efectivos y montos
IMPACTOS
• Saldos de ahorro
• Inversiones en Bienes durables
• Inversiones en Negocios
INSUMOS
•Cuenta bancaria que incentiva los retiros
PRODUCTOS
•Clientes abren cuenta y reciben tarjeta de débito gratis
RESULTADOS INTERMEDIOS
• Incrementa la cantidad de dinero que los ahorrantes están dispuestos a poner en cuentas
IMPACTOS
•Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc)
Indicadores
OBJETIVOS
•Aumentar el nivel de ahorro formal en las familias más pobres
OBJETIVOS
•Número de personas de hogares pobres con cuentas bancarias
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
5. Ejemplo: Microemprendimiento en Chile
41
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
En Chile, las personas desempleadas y en situación de
pobreza tienen pocas oportunidades de formar un
negocio para generar sus propios ingresos.
Problema puede ser atribuible a la falta de acceso a
capital para crear micro-empresas.
Además de una falta de capital, ¿que más podría
explicar su inhabilidad de crear negocios?
Antecedentes
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
El Ministerio de Desarrollo Social de Chile implementó el
Programa de Apoyo al Microemprendimiento (PAME). El
programa ofrecía a microemprendedores US$600 de
capital semilla y 60 horas de capacitación en gestión de
negocios.
Programa
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Público objetivo: personas de hogares pobres que están desempleadas o con empleo inestable y que deciden aplicar al programa.
Las capacitaciones consistían en 3 semanas de capacitación formal, seguido de 3 meses de asesoría práctica.
Al completar la capacitación formal, se entregaba el capital semilla.
Capacitador asiste en la compra de insumos con el capital y en el manejo del negocio.
Estructura
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Teoría de cambio
NECESIDADES
•Pocas oportunidades de generación de ingresos para personas pobres
• Falta de capital semilla y conocimientos sobre gestión de empresas por parte de micro-emprendedores de bajos recursos
INSUMOS
•Programa de Apoyo al Micro-emprendimiento
•Capacitaciones
•Entrega de capital semilla
PRODUCTOS
•Beneficiarios capacitados.
•Beneficiarios con capital semilla
RESULTADOS INTERMEDIOS
•Beneficiarios usan sus nuevos conocimientos y capital para mejorar las prácticas de sus negocios
IMPACTO
•Aumentan los ingresos de trabajo independiente
•Disminuye la tasa de desempleo
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
¿Cuáles son los supuestos necesarios para esta cadena
causal?
¿Qué tiene que ocurrir para que esta cadena causal
funcione?
Teoría de cambio
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
NECESIDADES
•Pocas oportunidades de generación de ingresos para personas pobres
•Falta de capital semilla y conocimientos
INSUMOS
•Programa de Apoyo al Microemprendimiento
•Capacitaciones
•Entrega de capital semilla
PRODUCTOS
•Beneficiarios completan capacitación.
•Beneficiarios usan el capital para comprar insumos para sus micro-empresas
RESULTADOS INTERMEDIOS
•Beneficiarios usan sus nuevos conocimientos y capital para cambiar sus prácticas de negocios.
IMPACTO
•Aumentan los ingresos de los beneficiarios
•Disminuye la tasa de desempleo de los beneficiarios
Personas pobres quieren crear negocios.
Personas pobres no tienen conocimientos o
capital.
Se ofrecen las capacitaciones.
Se entrega el capital semilla.
Beneficiarios asisten a
capacitaciones e invierten dinero en
sus negocios
Cambian las prácticas de
negocio.
Los nuevos negocios producen un aumento en los
ingresos de los beneficiarios
Teoría de cambio
Supuestos
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Teoría de cambio
NECESIDADES
•Pocas oportunidades de generación de ingresos para personas pobres
•Falta de capital semilla y conocimientos
INSUMOS
•Programa de Apoyo al Microemprendimiento
•Capacitaciones
•Entrega de capital semilla
PRODUCTOS
•Beneficiarios completan capacitación.
•Beneficiarios usan el capital para comprar insumos para sus micro-empresas
RESULTADOS INTERMEDIOS
•Beneficiarios usan sus nuevos conocimientos y capital para mejorar el rendimiento de sus negocios
IMPACTO
•Aumentan los ingresos de los beneficiarios
•Disminuye la tasa de desempleo de los beneficiarios
Tasa de desempleo del
público objetivo
Encuestas
Certificado
Facturas de insumos
Encuesta de prácticas en
gestión de su negocio
Encuesta
Registros de Seguridad Social
Indicadores
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
6. Datos
49
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos Secundarios
Datos Primarios
¿Dónde conseguir datos?
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos primarios: Datos que fueron levantados para
el propósito de la investigación.
Dónde conseguir datos
Encuestas
Exámenes, tests, etc.
Experimentos: Ej: Juegos para notar preferencias
Observación Directa
¿Cuáles podrían ser algunos problemas con estos recursos?
La data primaria es confiable si quien la levanta es confiable
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos primarios: Encuestas
Usualmente se planea una encuesta específica
para realizar la evaluación.
Son fuentes de abundante información para línea
de base y de seguimiento
Son muy adecuados para responder el “qué”, “por
qué” y “cómo” de los impactos de los programas.
Sin embargo, se plantean desafíos:
TIEMPO
COSTO: US$ 50 por encuesta.
52
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos secundarios: Datos que fueron levantados de
otras fuentes de información.
Ej: Censo, datos administrativos de
programas, etc…
Dónde conseguir datos: Datos Secundaria
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos secundarios: Datos Administrativos Datos originalmente recolectados para tres fines principales:
Seguimiento de programas,
Focalización de programas sociales,
Permitir la regulación y auditoría.
Derivados de una fuente administrativa, comúnmente una
dependencia gubernamental:
Ministerios sectoriales, unidades de ejecución/administración del
programa, etc.
Usualmente de alta frecuencia y de amplia cobertura del grupo
objetivo
Por ejemplo, niños matriculados en la escuela, registros vitales,
registros migratorios, registros civiles, registros de la seguridad
social, etc.
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Datos secundarios: Datos Administrativos Ventajas
Tamaño de muestra muy grande, posibilidad de evaluar el impacto en
todo la población
Posibilidad de contestar una amplia gama de preguntas.
Posibilidad de observar impactos en distintos momentos del tiempo.
No es necesario invertir en el levantamiento de datos
Desventajas:
Desconocimiento del proceso detrás de la generación de la
información.
Depender de la disposición y capacidad del gobierno de entregar la
información.
Falta de acceso a indicadores intermedios y blandos.
Manipulación
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
La teoría de cambio es un paso clave en el diseño
un programa.
A través de la cadena causal creamos un mapa
de cómo los insumos y actividades del
programa producen los cambios esperados.
Identificamos los supuestos detrás de la lógica
del programa.
Los indicadores nos permiten medir el
cumplimiento de cada paso de la cadena
causal.
Conclusión
Ejemplo Chile Introducción Ev. Necesidades Ev. Teórica Datos
Gracias
57
Claudia Martínez
Profesora Asistente de Economía
Universidad de Chile