La evaluacin en el sector pblico en

Amrica Latina

Reflexiones sobre paradigmas, usos y mtodologas

Lucy Winchester

ILPES/CEPAL

lucy.winchester@cepal.org

Seminario Internacional Evaluar las Polticas Pblicas para un Desarrollo Inclusivo Programa de Evaluacin de las Polticas Pblicas, Jefatura de Gabinete de Ministros, Presidencia de la Nacin

Buenos Aires, Argentina, 10 al 11 de 2013

Temas de la reflexin

1. Paradigmas fundacionales para la prctica de la evaluacin; y en relacin a AL

2. Implicaciones uso AL tendencias observadas

3. Implicaciones metodolgicas AL tendencias observadas

4. Logros, dificultades, innovaciones y pendientes

Las races fundacionales de la evaluacin (paradigmas)

1. Accountability - alude a que el gobierno (u organizacin) debe hacerse responsable de los resultados logrados producto de su accionar. - actividades diseadas para mejorar la intervencin pblica y la sociedad.

Alkin, Marvin C. y Christina A. Christie (2004). An Evaluation Theory Tree en Evaluations Roots, Tracing Theorists Views and Influences, ed., M.C. Alkin, Sage.

Accountability (cont.)

En relacin a los objetivos si los objetivos y metas han sido definido en forma adecuado y razonable.

En relacin al proceso si se ha establecido (e implementado) procedimientos suficientes, adecuados y razonables para alcanzar su logro.

En relacin al resultado si se ha logrado los objetivos establecidos, en qu grado.

Alkin, Marvin C. (1972). Accountability defined. Evaluation Comment: The Journal of Educational Evaluation, 3, 1-5.

2. La investigacin social el estudio sistemtico del comportamiento de grupos de individuos en distintos entornos sociales, a travs de una variedad de mtodos. - el estudio emprico va la recoleccin y anlisis de informacin emprica sobre grupos sociales.

Las ramas tericas del rbol:

1. Los mtodos la evaluacin guada por las metodologas de investigacin (el marco evaluativo). Busca generalizar, busca construir conocimiento. (defn. de objetivos y resultados, hiptesis; diseos experimentales, cuasi experimentales; teora del programa; )

2. La valoracin el rol esencial de la evaluacin es valorar la data, formular un juicio. (criteria de evaluacin; cadena causal; descripcin crtica, interpretacin de signficado, valoracin; actores y participacin)

3. El uso cmo se utilizar la informacin evaluativa, y quines la utilizarn. (CIPP contexto, insumos, proceso, producto; analizar proceso, medir resultados; aprendizaje)

Alkin, Marvin C. y Christina A. Christie (2004). An Evaluation Theory Tree en Evaluations Roots, Tracing Theorists Views and Influences, ed., M.C. Alkin, Sage.

Amrica Latina paradigmas 1. Accountability - Para la evaluacin en el sector pblico, el

concepto est asociado a la rendicin de cuentas y la transparencia respecto de las decisiones, productos, gasto, polticas y acciones pblicas, incluyendo su forma de administracin, gestin e implementacin.

2. Value for Money - un compromiso explcito por garantizar que se obtuvieron los mejores resultados posibles con los recursos pblicos gastados. La evaluacin en este paradigma sirve para: a. controlar el uso de los recursos pblicos en la provisin de bienes y servicios pblicos, b. la administracin de los grandes desequilibrios (macroeconmicos, sociales y ambientales), c. la acumulacin de capital social, fsico y humano, y d. la consolidacin de los procesos de gobernabilidad democrticos.

Bello, Rosario (2013)

Paradigmas AL (cont)

3. Gestin para resultados del desarrollo y valor pblico objetivo ltimo: habilitar a las organizaciones pblicas para que logren, mediante la gestin del proceso de creacin de valor pblico, los resultados consignados en los objetivos del gobierno.

4. Complementado con el paradigma de la calidad de la gestin estatal la orientacin hacia el ciudadano y la satisfaccin de sus necesidades, y la modernizacin de los recursos humanos, operativos, tecnolgicos, organizacionales. La evaluacin comienza a mirar hacia el sujeto de la intervencin del Estado. Y se convierte en un activo poltico con capacidad de legitimar las acciones pblicas (Moyado 2002). Bello, Rosario (2013)

Creacin de sistemas de M&E en LAC

Cuatro razones principales

1. el mandato de darle mayor racionalidad a los ajustes y correcciones fiscales dentro de un marco de modernizacin y racionalizacin de la gestin pblica

2. la percepcin de los gobiernos de que deben pagar un costo poltico cada vez ms alto por la mala gestin de programas pblicos

3. la mayor demanda de participacin y transparencia por parte de la sociedad

4. una tendencia creciente de la ciudadana por exigir servicios efectivos con respuestas sostenibles, lo que obliga al Estado a legitimarse sobre la base de un mejor desempeo pblico.

Bello, Rosario (2013)

La evaluacin por tanto es conceptualizada - como una funcin crtica de la administracin pblica,

- como un instrumento que consolida la informacin necesaria para alimentar las decisiones de presupuesto y la cuenta pblica, y - en menor medida para la gestin de los programas, la planificacin y la formulacin de programas y polticas.

Bello, Rosario (2013)

Institucin que tiene la responsabilidad de planificar y evaluar por pas (2012)

Institucin Quin planifica por pas Quin evala por pas

Institucin Planificacin Bolivia, Colombia, Costa Rica, Ecuador, Paraguay, Per y Trinidad y Tobago.

Colombia, Costa Rica, Ecuador, Guyana,

Paraguay, Trinidad y Tobago, Venezuela

Oficina de la Presidencia

Chile, El Salvador, Guatemala, Honduras,

Mxico y Nicaragua.

El Salvador, Guatemala, Honduras, Jamaica, Nicaragua, Panam

Mixto: Finanzas y Planificacin

Brasil, Jamaica, Repblica, Dominicana,

Uruguay, Venezuela.

Brasil, Repblica Dominicana, Uruguay

Institucin de Finanzas (o Hacienda)

Bahamas, Guyana, Panam

Chile, Mxico, Per

Consejo o Comit especial

Argentina Argentina, Bolivia

Cada Institucin Belize Belize

Pas Toma de decisiones

presupuestarias

Planificacin nacional o sectorial

Gestin de programas

Rendicin de cuentas

Formulacin y/o mejoramiento de

programas o polticas

Argentina x x x x

Brasil x x x x x

Bolivia x x x

Colombia x x x x x

Costa Rica x x x x x

Chile x x x x x

Ecuador x x x

Guatemala x x x

Guyana x x

Honduras x

Jamaica x x x

Mxico x x x x x

Nicaragua x x

Panam x

Paraguay x x x

Per x x x x Repblica Dominicana

x x x

Trinidad y Tobago x

Uruguay x x x

?Qu apoyan los sistemas de M&E en AL (2012)?

Para que se usa el sistema de monitoreo y evaluacin, principalmente?

Muy frecuente: El sistema est institucionalizado y cuenta con metodologas e instrumentos formalizados.

Frecuente: El sistema est institucionalizndose y se estn elaborando los instrumentos y las metodologas

Poco frecuente: el sistema est comenzando a implementarse

Para tomar decisiones tcnicas y presupuestarias

Chile

Para tomar decisiones de alto nivel

Brasil, Colombia, Costa Rica, Uruguay

Bolivia, Ecuador, Mxico

Para corregir cumplimiento de metas

Argentina, Guatemala

Honduras, Nicaragua,

Panam, Paraguay,

Per, Guyana

Uso de los sistemas de M&E en AL (2012)

Hechos estilizados: ejes de evaluacin, tipos de indicadores, mtodos y metodologas

Eje de la evaluacin: Chile, Colombia y Mxico muestran avances en la

incorporacin de un men de evaluaciones que den cuenta de manera ms integral de la cadena de generacin de valor pblico, incorporando tambin evaluaciones de impacto rigurosas y financiadas por el pas.

El resto de los pases est focalizado mayoritariamente en alguna de las partes de la cadena con nfasis las evaluaciones que miden los niveles de produccin de los bienes y servicios provistos, sus costos y el desarrollo del cronograma de actividades.

En stos, el acento sigue colocado en la eficiencia del gasto, donde el control financiero y presupuestario constituye la base de dicha evaluacin.

Tipos de indicadores: En la prctica ha sido difcil establecer indicadores de resultados y que

adems estn vinculados con el gasto de un programa.

Se han definido una cantidad indiscriminada de indicadores para los cuales no necesariamente se recopila informacin (se definen para cumplir sin intencin real de medirlos).

Los objetivos sobre los cuales se basan los indicadores no estn bien formulados (en muchos casos los indicadores de desempeo se han desarrollado antes de haber aclarado o legitimado los objetivos)

En algunos de los pases ms avanzados no se utilizan los mismos indicadores y metas para comparar los logros (se cambian los indicadores o las bases de comparacin)

Al no producirse una articulacin entre niveles de objetivos y metas sectoriales, la utilidad de medir resultados se cuestiona por cuanto no se conoce cmo los resultados de un sector pueden deshacer los logros en otro sector, salud o educacin.

Mtodos de evaluacin: Es comn el uso de auditoras financieras, y de

evaluaciones de resultados (eficiencia y eficacia). En la mayor parte de los pases se evala con la

informacin que se tiene. Predominan las revisiones relativamente sencillas de

programas (examen de documentos, entrevistas a las principales partes interesadas, debates en grupos focales y el uso de cualquier tipo de datos de los programas disponible)

En algunos pases, se ha intentado avanzar hacia una valoracin de los resultados de las polticas y de la calidad de los servicios prestados a travs de estudios de caso de ndole cualitativo.

Metodologas de evaluacin:

En general, las metodologas de evaluacin utilizadas identifican los problemas y los dividen en pequeos subgrupos temticos de manera de poder medirlos.

No se incorpora mediciones multisectoriales que reconozcan los nexos entre metas.

Las evaluaciones estn abocadas centralmente a la comparacin entre objetivos y metas propuestas en el nivel micro, de programas y proyectos

Esto es vlido tambin para las evaluaciones de impacto que no miden ni cambios en las polticas pblicas ni sus efectos concertados sobre los usuarios, ms all de la contribucin de un programa o un proyecto especfico.

Por lo general el argumento es que basta con las evaluaciones de corto plazo de un conjunto de programas para tener indicaciones sobre los resultados de la implementacin de las polticas pblicas dado que stas se traducen en programas y proyectos.

Metodologas de evaluacin (cont): Las evaluaciones de avance de las polticas pblicas no dan cuenta de la

complejidad de los fenmenos sociales -- los resultados del accionar pblico dependen de una multiplicidad de factores, endgenos y exgenos

Aunque algunos pases tratan de abordar este tema, no pasan de ser un ejercicio aislado de un programa.

Dependiendo de los mbitos a evaluar se definen como Evaluaciones en Profundidad o Mdulo de Evaluacin de Impacto. Pases como Chile, Mxico y Colombia han avanzado en este sentido.

Las evaluaciones de la poltica pblica se han centrado en medir el desempeo de corto plazo a nivel de procesos y productos, dejando de lado la medicin de la sostenibilidad/sustentabilidad de los resultados y la calidad de los mismos.

Existe un sesgo hacia la medicin de productos en trminos absolutos debido a una cultura de medicin que privilegia cantidades (1,500 mil vacunas) ms que la calidad del gasto o la rendicin del valor pblico de aquello que es producido.

Observaciones adicionales

Se observa una friccin entre paradigmas de investigacin social y accountability evidenciados por tipo de profesionales involucrados y perspectivas internalizadas en los sistemas de M&E.

Se observa una debilidad de la aplicacin de metodologas de evaluacin de programas, desde la perspectiva de la investigacin social aplicada. En particular en el desarrollo insuficiente de los modelos de programas (teora del cambio). Asimismo en el involucramiento de los beneficiarios/ciudadano/as.

Los indicadores se vuelven un fin y no un medio para comprender la intervencin pblica y evidenciarla. Sistemas de indicadores son el principal evidencia hoy en da en la regin.

Observaciones adicionales

Las metodologas utilizadas, aunque en muchos casos son estandaridizadas, en general no tiene objetivos de mejoramiento de implementacin y aprendizaje organizacional. (falta demanda efectiva)

Dbil calidad de la informacin de monitoreo, falta de sistemas integrados

Dbil diseo de proyectos, programas, especialmente polticas (estrategias y planes)

Falta de interconectividad entre micro, meso y macro niveles de planificacin

Dbil conectividad entre sistemas de planificacin y presupuesto.

Estructura Institucional

y

Administracin / Gestin Insumos

Actividades Productos Resultados Impacto

Evaluaciones de

procesos

Evaluacin de Productos

Evaluacin de Resultados

Evaluacin de Impacto

Medicin anual de procesos y productos

Micro Meso

Evaluacin de i) impacto de todos los programas de un sector, de

programa intersectorial, regional;

ii) de diseo y resultados de mediano plazo en provisin de

bienes y servicios x programa/

proyecto

Medicin Impacto, resultados, productos de mediano plazo Inter/Sectoriales Programas /

Proyectos

Evaluacin de: i) avance en metas de produccin de bienes y servicios; ii) anlisis de los procesos de produccin y administracin; iii) eficiencia y calidad de los productos,

IV) eficacia y efectividad de los

sistemas de informacin, monitoreo y rendicin de cuentas

Evaluacin de i) coherencia y pertinencia entre metas de largo

y mediano plazo, entre

prioridades nacionales y

territoriales de largo plazo; ii)

anlisis de escenarios y riesgos de mediano y largo plazo

Medicin Largo/mediano Plazo; Estrategias Prioritarias

Nacionales y Territoriales

Macro

Anlisis de escenarios y ries-gos; Coherencia y pertinencia

Insumos

Modelo integrado de planificacin y evaluacin

Bello, Rosario (2013)

El nivel macro de evaluacin

Centrado en la valoracin de distintos escenarios para la definicin y actualizacin de las polticas pblicas:

i) la coherencia, pertinencia y viabilidad del diseo de las polticas pblicas;

ii) los riesgos de amplio espectro y los escenarios fiscales que afectan su logro, as como de las reasignaciones de recursos presupuestarios en perodos de gobierno y su efecto sobre las metas definidas de largo plazo; y

iii) la relacin entre los resultados intermedios con las metas fijadas al largo plazo.

Relacionada con la toma de decisiones estratgicas, la legitimacin social de la accin pblica y la gobernabilidad. Asimismo, permite actualizar las opciones de polticas de Estado a la luz de nuevos escenarios econmicos, sociales y polticos.

Estudios de prospectiva definida sta como un anlisis sistemtico que permite la identificacin, anticipacin y proyeccin de tendencias en los campos sociales, econmicos y tecnolgicos (Costa Rica, Uruguay)

El nivel meso de evaluacin Un nivel meso que evale la poltica sectorial e intersectorial de mediano

plazo y la institucionalidad pblica que la opera. Este tipo de evaluacin se enfocara en medir:

i) la alineacin y consistencia de los objetivos institucionales sectoriales (Ministerios/Secretaras) con las definiciones estratgicas y prioridades nacionales;

ii) el impacto de un conjunto de programas institucionales que tienen relacin con una meta sectorial (por ejemplo todos los que contribuyen al objetivo y la meta de productividad agrcola); y

iii) el desempeo (resultados intermedios o impacto) en la provisin de bienes y servicios pblicos por un conjunto de programas o proyectos intersectoriales y territoriales.

Colombia presenta un ejemplo interesante de seguimiento de los resultados e impactos de un conjunto de programas y proyectos sectoriales orientados al cumplimiento de metas de largo plazo desde un enfoque piramidal. El seguimiento y anlisis estratgico de metas en tres niveles articulados realizado por el Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica (SINERGIA).

Metodologas de micro simulacin de evaluacin de impactos de Programas de Transferencia Condicionadas (CEPAL).

El nivel micro de evaluacin

Por su parte, el nivel micro de evaluacin se centra en valorar: i) el avance -a nivel de la unidad programa- en el cumplimiento de

metas anuales de produccin, de cobertura, focalizacin y de gasto;

ii) el avance en los compromisos de gestin y de desempeo institucional en el ao (administracin, compras pblicas, etc);

iii) la calidad de la administracin de los procesos, la calidad de los bienes y servicios de una institucin o un programa, y la calidad de los sistemas de informacin institucional y su relacin con los ciudadanos, usuarios y grupos de inters; y

iv) medir la eficiencia y calidad del gasto.

Sistema Chileno de Evaluacin de Programas Pblicos, SED de

Mxico, convenios de desempeo

Referencias seleccionadas Moore, Mark H. (1995). Creating Public Vlaue. Strategic Management in

Government, Cambridge: Harvard University Press. Hunt, G. 2010. The Principle of Complementarity: Freedom of Information,

Public Accountability & Whistleblowing, cap 5 en R A Chapman & M Hunt (eds) Open Government in a Theoretical and Practical Context. Ashgate, Aldershot, 2006.

Bovens, M. "Two concepts of accountability: accountability as a virtue and as a mechanism," West European Politics 33 (2010), 946967.

Christopher, W. 2006. Leadership, accountability in a globalizing world. London: Palgrave Macmillan.

Bello, Rosario (2013). Sistemas de evaluacin y polticas pblicas en Amrica Latina, se est avanzando? Serie Gestin Pblica 78, CEPAL, en prenta.

Moyado, F. (2002). Gestin pblica y calidad : hacia la mejora continua y el rediseo de las instituciones del sector pblico. Ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal, 8-11 Octubre.

Olavarra, M (2010). Efectividad en la Gestin Pblica. Universidad de Chile Revista de Ciencias Sociales N52:11-36 (enero-abril).

Feinstein, O. 2007. Evaluacin Pragmtica de las Polticas Pblicas. En Evaluacin de Polticas Pblicas (mayo-Junio) #836:19-31