Evaluación de Impacto de Políticas Públicas

Fernando Medina H.Asesor Regional

CEPALSantiago de Chile

25 de noviembre de 2005

Políticas Presupuestales y Gestión por Resultados

CEPAL-ILPES

¿Porqué es necesario evaluar?

• Las crecientes inversiones que se hacen en los países, no han podido reducir de manera significativa las tasas de indigencia y pobreza.

• A pesar de los múltiples esfuerzos emprendidos en el ámbito social, la pobreza no cede y la desigualdad es un fenomeno que se ha instalado en todos los países de la región.

• No existe en América Latina y el Caribe una cultura de evaluación integral de políticas públicas.

Existe consenso internacional, de quela superación de la pobreza y ladesigualdad representan el principaldesafío de la humanidad en el umbraldel siglo XXI.

A pesar del progreso alcanzadoel mundo se está polarizando, y la pobreza extrema y la inequidad amenzan con llegar a ser un problema social y político de gran escala.

• Actualmente, el 43% de la población (222 millones)enfrenta alguna situaciónpobreza.

• En tanto que el 19% seubica en extrema pobreza

( 96 millones).

Desde que se asumieron los compromisos de la Declaración del Milenio(2000), la población en pobreza ha aumentado a un ritmo superior al de la población total, a pesar de que se obserava un mayor ingreso por habitante.

La mayoría de países muestran avances insuficientes hacia el cumplimiento de la meta de reducción de la pobreza extrema, y en muchos casos la situación empeoró.

¿Qué es la evaluación integral?• Comprende la evaluación de todas las etapas

asociadas a la operación de un programa.• Diseño• Identificación de la población objetivo• Identificación de beneficiarios• Definición de criterios de elegibilidad• Identificación de beneficios: tipos y montos• Métodos de entrega de beneficios, plazos y

temporalidad.• Corresponsabilidad de los beneficiarios• Impacto

EVALUACIÓN INTEGRAL DE PROGRAMAS PÚBLICOS

EVALUACIÓN DE

COSTO - BENEFICIO

POLÍTICAS PÚBLICAS

EVALUACIÓN DE

IMPACTO

MONITOREO Y

SEGUIMIENTO

EVALUACIÓN DE

PROCESOS

¿Cómo ha sido diseñado el programa?

• Diagnóstico adecuado:¿Porqué es necesario emprender el programa?

• Magnitud del problema: volumen de potenciales beneficiarios, recursos, ubicación geográfica, etc.

• ¿Qué resultados debe producir el programa?:modificar causas, reducir efectos, ambos.

• ¿Cómo se mediran los resultados del programa?

(cont.)

• Monitoreo

• Evaluación de procesos

• Cumplimiento de metas

• Costo-beneficio

• Impacto

Monitoreo• ¿Se actúa conforme a lo planeado?

• La fase de monitoreo es permanente, y se asocia a la necesidad de conocer si el programa funciona de acuerdo a la manera en que se planificó.

• La mejora continua debe ser asumida como objetivo durante el ciclo de vida del programa (Círculo de Deming).

• Se requiere de un sistema de información oportuno para apoyar la toma de decisiones.

Control de Procesos

• Está asociado con el control de gestión del programa, y entre otras cosas, evalúa la manera en que se están entregando los servicios a los beneficiarios.

• Se debe conocer aspectos asociados a: costos, calidad de los servicios, pertienencia de los servicios, tiempos de entrega, etc.

Cumplimiento de Metas

• Se debe conocer si las metas de cobertura del programa se están logrando.

• El cumplimiento de metas no debe asociarse al cumplimiento de objetivos del programa. Son cosas distintas.

• Es la manera en la que tradicionalmente se ha evaluando el éxito de un programa, pero también es la más ingenua.

Costo-Beneficio

• Está orientado a evaluar la eficacia del programa desde una perspectiva económica.

• Se relacionan los costos de operación del programa con los beneficios obtenidos.

• Contrapone el plano ético con una visión economicista de las políticas públicas.

CONTEXTO EN EL QUE SURGE LA EVALUACIÓN Y LOS ACTORES SOCIALES

ORDENAMIENTO LEGALQUE OBLIGA A LA

EVALUACIÓNPERIÓDICA

CONSEJO CONSULTIVO CIUDADANO QUE ES

VIGILANTE DE LA ACCIÓN PÚBLICA EN

MATERIA SOCIAL

GOBIERNORESPONSABLE DE

RENDIR CUENTAS E INFORMA RESULTADOS

GOBIERNOS LOCALESPARTICIPANDO EN LA

PROMOCIÓN DEL DESARROLLO COMUNITARIO

SOCIEDAD CADA VEZ MÁS DEMANDANTE Y

PARTICIPATIVA

Tipología de los indicadores• Diagnóstico: Tasa de pobreza, perfiles, etc.• Monitoreo y Seguimiento:Metas de cobertura• Insumos: maestros, materiales médicos, etc. • Acceso: escuelas,aulas, clínicas, etc.• Resultados: estado nutricional, aprendizaje,

etc.

• Impacto

• CambioEvaluación

(cont.)

• Gestión:Eficiencia (insumos-productos)

• Desempeño: laboral y financiero

Indicadores Estratégicos

• Simples: E(x)

• Compuestos: IDH, Gini, H

Métodos para la construcción de índices multidimensionales

• Técnicas multivariadas: análisis factorial, componentes principales y análisis de discriminante.

• Indices de pobreza y desigualdad multidimensionales

• Indice de Desarrollo Humano

• Indices de Condiciones de Vida

Existen demasiados índices

• Indice de desarrollo humano• Indice de desarrollo de género• Indice de potenciación de género• Indice de pobreza de capacidades• Indice de pobreza humana• Indice de pobreza humana de los países

en desarrollo

Indice de Desarrollo Humano• IDH=1/3ΣXi ; i=1,2,3

• X1= Indice de Esperanza de VidaIEV=(73.4-25)/(85-25)=0.807

• X2=Indice de EducaciónIA=(85.3-0)/(100-0)=0.853IBM=(69-0)/(100-0)=0.690IE=2/3(0.853)+1/3(0.690)=0.789

• X3= Indice de PIBIP=[log(3,680)-log(100)]/[log(40000)-log(100)]=0.603

IDH=1/3(.807+.798+.602)=0.735

Algunas críticas al IDH• ¿Están adecuadamente ponderadas las

distintas dimensiones del índice y son pertinentes los ponderadores asignados?

• ¿Deben tener el mismo peso todas las dimensiones?

• ¿Es correcto que el nivel alto de una dimensión compense el nivel bajo de otra?

• ¿Un mejor nivel de ingreso compensa una educación inadecuada?

(cont.)

• ¿Un mayor nivel educativo compensa el tener una menor expectativa de vida?

• ¿Es pertinente que exista un único índice con iguales dimensiones e indicadores para todos los países, con independencia a su nivel de desarrollo relativo?

• Su uso es muy limitado para el diseño de políticas.

1. Erradicar la pobreza y el hambre

2. Lograr la enseñanza primaria universal

3. Promover la igualdadentre los gèneros y la

autonomìa de la mujer

4. Reducir la mortalidad infantil

5. Mejorar la salud materna

6. Combatir el VIH/sida, el paludismo y otrasenfermedades

7. Garantizar la sostenibilidad del medio ambiente

8. Fomentar una asociaciònmundial para el desarrollo

2015

g Reducir a la mitad la tasa de pobreza extrema (2015)g Reducir a la mitad el porcentaje de personas

que padecen hambreg Asegurar la educación primaria universal g Eliminar las diferencias de género en la educación

primaria y secundaria (2025)g Rebajar en dos tercios la mortalidad en la infancia y la niñezg Reducir la mortalidad materna en tres cuartas partesg Asegurar el acceso universal a los servicios

de salud reproductivag Detener la reproducciòn del VIH/Sida,

paludismo y otras enfermedades gravesg Aplicar estrategias para lograr un desarrollo

sostenible con responsabilidad ecológicag Reducir a la mitad el porcentaje de personas

que carecen de acceso a agua potableg Mejorar la calidad devida de las personas que

viven en tuguriosg Ayudar a los países en el cumplimiento de las

metas

Las Metas del Milenio

Las metas del milenio

• Muchos de los indicadores seleccionados están orientados a medir el acceso de las personas a un conjunto básico de satisfactores.

• No obstante, este hecho no guarda relación con la calidad de los servicios recibidos: e.g. calidad de la educación, estado nutricional de los pobres no indigentes, etc.

La incidencia de la pobreza

• ¿Qué nos interesa. El fondo o la forma?

• Se puede dar el caso de que la tasa de pobreza extrema dismunuya, pero que los miembros del hogar continúen sin satisfacer sus necesidades alimentarias.

Diagnóstico inicial

-Variables estructurales

-Variables de coyuntura

-Relaciones de causalidad

Escenario actual y futuro del Programa

Escenario deseable

Identificación

-Variables de impacto

-Variables de control

-Metas de política

-Objetivos de política

-Indicadores de evaluación

Línea de base conocimiento de la situación actual y del futuro deseable

Planeación

-Objetivos del programa

-Población objetivo

-Modelo de intervención

-Modelo de evaluación

-Temporalidad para evaluar resultados

-Recopilación de información (encuestas, registros administrativos y métodos cualitativos)

Diseño del programa

Operación

- Selección de la población beneficiaria

-Selección del grupo de control

-Se efectuan intervenciones

-Mecanismos de control y seguimiento

-Se monitorea el proceso

Evaluación de impacto

-Costo-beneficio

-Costo-impacto

Resultados

-Pertinencia del programa

-Evolución de los indicadores de impacto

CONTEXTO IDEAL PARA LA EVALUACIÓN DE IMPACTO

Planteamiento del problema• Se desean conocer los efectos que tiene

una acción de política social en una o másvariables asociadas al nivel de vida de una población.

• Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias.

• Posteriormente, después de un ciertotiempo se desea comparar la situación de los beneficiarios con aquella que tendríande no haber participado en el programa.

Evaluación de Impacto

• Tiene como propósito conocer si el programa produjo los efectos deseados en los beneficiarios.

• Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad).

• ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

El interés es conocer el cambio neto en una o másvariables de impacto:

t0 t1 t2 t3 tm tn-1 tn

X1pb X2pb .......... Xmpb Xnpb

beneficiarios

no beneficiarios

X1c X2c ........... Xmc Xnc

Población Objetivo

Brecha de impacto

t0=c0 t

Para una variable determinada Y que tiene influencia de otra independiente X, el modelo de doble diferencia se expresa así:

(Y2i - Y1i) = β*0 + β1 (X2ipo – X1ipo) - β2 (X2ic – X1ic) + ε*

Cambio neto = efecto fijo + cambio bruto - efecto exógeno a la intervenciónen la variable en la variable en el grupo de no beneficiariosde interés independiente

(cont.)

• La evaluación de impacto demanda de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiése puesto en marcha.

• Por tanto, es importante disponer de un escenario contrafactual que permita conocer lo que hubiera ocurrido si el programa no se hubiera realizado.

(cont.)

• Se requiere disponer de información para el llamado grupo de control o de comparación.

• Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes.

• Esto significa, que ambos grupos tienen las mismas características

El Grupo de Control

• En el proceso de evaluación de impacto, lo más importante es disponer de un grupo de control adecuado.

• Lo anterior se logra a partir de metodologías estadísticas: diseños experimentales aleatorios y cuasi experimentales.

• También se aconseja aplicar métodos cualitativos y participativos para lograr la evaluación integral.

Diseños Experimentales

• Se consideran los métodos más robustos para generar grupos de control.

• La elección de los beneficiarios y del grupo de control se efectúa en forma aleatoria, reduciendo al máximo los sesgos de selección.

• Presentan la ventaja, de que el efecto del programa se logra al comparar las diferencias observadas entre los valores promedio de las variables de impacto entre ambos grupos.

(cont.)

• A pesar de que consideran los métodos más robustos, su aplicación práctica genera problemas de carácter ético.

• Lo anterior, además, puede generar problemas de carácter político.

• Durante la aplicación del programa, las características de los grupos comparados pueden alterarse, lo cual podría introducir sesgos en los resultados.

Diseños Cuasi Experimentales• Se utilizan cuando no es posible aplicar diseños

experimentales para generar grupos de control.

• Se generan grupos de observaciones que se asemejan a las características de los beneficiarios.

• Para lograr lo anterior, se utilizan métodos econométricos: apareamiento (matching), doble diferencia, variables instrumentales.

• Los grupos de rtatamiento y de comparación se seleccionan después de la puesta en marcha del programa.

(cont.)

• Presenta la ventaja de utilizar datos existentes (encuestas, censos), y por tanto son menos costosos y más fáciles de aplicar.

• A pesar de lo anterior, los resultados pueden ser menos confiables, debido a los sesgos de selección de los datos y por tanto son menos sólidos desde el punto de vista estadístico.

• Es posible controlar el sesgo de selección a partir de métodos estadísticos.

Métodos Cualitativos

• Se utilizan con el propósito de conocer la opinión de los beneficiarios acerca de las beneficios entregados por el programa.

• Además de las entrevistas a profundidad, se hace usos de información proveniente de líederes de opinión y la generada por medio de grupos focales.

• Permiten conocer aspectos que los métodos estadísticos y econométricos no lo hacen.

Preguntas relevantes para evaluación de impacto de las políticas públicas

• Algunas preguntas básicas:– ¿Qué queremos medir? – ¿Cómo queremos medir?– ¿Para qué queremos la medición?– ¿Para qué se van a utilizar las mediciones?– ¿Qué fenómeno se desea aproximar?

• Si el tema de interés es la calidad de vida: - ¿Qué se entiende por calidad de vida?- ¿Cómo se desea aproximar? - ¿Cómo se mide?

- ¿Cuáles variables que se deben analizar?

Planteamiento del problema• Se desean conocer los efectos que tiene

una acción de política social en una o másvariables asociadas al nivel de vida de una población.

• Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias.

• Posteriormente, después de un ciertotiempo se desea comparar la situación de los beneficiarios con aquella que tendríande no haber participado en el programa.

• Se debe construir un escenario contrafactual o grupo de comparación que permita conocer la manera en

que han evolucionado las variables de impacto, tanto en elgrupo de beneficiarios como en el de no beneficiarios.

• En Blundell y Costa Dias (2000), los métodos de evaluaciónse clasifican en cinco categorías:

v experimentos aleatorios (diseño de experimentos tradicional)

v experimentos naturales (difference-in-difference,before-after)

v métodos de comparaciones pareadas (matching)v selección de modelos ( variables instrumentales)v modelos de simulación (simular efectos de política)

Estimadores de Impacto

• antes-depués

• doble diferencia

añoy *10 ββ +=

)*(3*2*10 beneficiañobeneficiañoy ββββ +++=

Modelo de doble diferencias 2001-2002

)*(321002,01 BenefAnoAnoBenefy ββββ +++=

)()(3 2001200220012002 yyyy −−−=∧

β

Beneficiarios No beneficiarios

)497,148.124,14()9.570,31.066,3(3 −−−=∧

β

6,1323 −=∧

β

Modelo de doble diferencia2001-2003

)*(321003,01 BenefAnoAnoBenefy ββββ +++=

)()(3 2001200320012003 yyyy −−−=∧

β

Beneficiarios No beneficiarios

)497,147.510,15()9.570,34.976,5(3 −−−=∧

β

4.391,13=∧

β %9.573=∧

β

3

2

02001

202003

32

102001

32102003

000

00

00

β

ββ

ββ

ββββ

ββββ

+++=

+++=

++++=

+++=

nb

nb

b

b

y

y

y

y

Cambio bruto:beneficiarios

Cambio bruto: no beneficiarios

Impacto neto del programa

Conclusiones• La evaluación integral de los programas públicos,

debe forma parte de una estrategia de gestión por resultados.

• Representa uno de los mecanismos que los gobiernos deben poner en marcha para garantizar la transparencia y rendición de cuentas.

• Le permite conocer a la ciudadanía en qué se gastan los ingresos del erario, al tiempo que da cuenta de la eficacia de los programas públicos.