INFORME PRELIMINAR META EVALUACIÓN DEL … · no funcionaban al momento del levantamiento, y que...

El Colegio de la Frontera Norte, A.C.

Carretera Escénica Tijuana - Ensenada, Km. 18.5

Tijuana, Baja California, 22560, México.

Teléfono (664) 631-6300

1

INFORME PRELIMINAR META EVALUACIÓN DEL PROGRAMA DE DESARROLLO DE ZONAS PRIORITARIAS

RESUMEN EJECUTIVO

La Meta Evaluación tuvo como objetivo “analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan a los Programas obtener mejores resultados en el periodo 2013-2018”. En materia de evaluación el Programa de Desarrollo para Zonas Prioritarias muestra ser un programa que adoptó adecuadamente gran parte de las recomendaciones emitidas por las evaluaciones externas realizadas a los dos programas que le precedieron: el Programa de Desarrollo Local (PDL-Microrregiones) y el Programa de Apoyo a Zonas de Atención Prioritaria (PAZAP). Los resultados, hallazgos y recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y atendidas conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. El PDL cuenta con la Evaluación de Consistencia y Resultados (ECR) 2007, la Evaluación Específica de Desempeño (EED) 2008 y la Evaluación Específica de Monitoreo de Obra Pública (EEMOP) 2008. La ECR 2007 del PDL destaca porque reúne una serie de hallazgos que sugieren la necesidad de mejorar y replantear aspectos cruciales del programa como lo son la definición del problema y la elaboración de un diagnóstico, las definiciones y cuantificaciones de Población Potencial (PP) y Población Objetivo (PO), los resúmenes narrativos y los indicadores de los objetivos de Propósito y Fin en la Matriz de Indicadores para Resultados (MIR), la planeación estratégica y operativa con metas anuales y a mediano plazo, la satisfacción de los beneficiarios y la sistematización de informaciónrelevante para la operación y gestión del programa. En el 2008 la EED encuentra mejoras realizadas a algunos de los aspectos señalados por la ECR 2007 como son la existencia de un diagnóstico adecuado con definiciones y cuantificaciones adecuadas de PP e indicadores estratégicos y de gestión cuya pertinencia y confiabilidad se vieron afianzadas. No obstante, la misma evaluación encontró que la definición y




Teléfono (664) 631-6300

2

cuantificación de PO aún necesitaban ser mejoradas y que los indicadores de gestión dejaban de ser relevantes al medir su avance respecto a metas sectoriales y no del programa mismo. La EEMOP del PDL reporta en su mayoría resultados positivos. De acuerdo con el documento el 99% de las obras en la muestra fueron validadas y de éstas el 89.1% fueron encontradas funcionando. Algunos datos interesantes arrojados por esta evaluación son que el 87.3% de las obras ha recibido mantenimiento de buena calidad, que 8.7% de los encuestados manifestaron la existencia de obras que no funcionaban al momento del levantamiento, y que las obras hidráulicas son las que presentaron mayor obsolescencia al encontrar funcionando al 79% de éstas. Algunas de las recomendaciones emitidas por la EEMOP fueron la estandarización de la calidad de obras en las diferentes regiones del país, la revisión y verificación de obra reciente y expedientes. Por otro lado las evaluaciones realizadas al PAZAP son una Evaluación de Diseño (ED) y una EED, ambas en el 2008. La ED 2008 del PAZAP destaco como fortalezas la focalización a territorios marginados, la entrega de bienes públicos y privados que favorecen ‘externalidades positivas’ en las localidades y las complementariedades con los programas Microrregiones y Estrategia 100x100. Las áreas de mejora encontradas por la evaluación en cuestión fueron las inconsistencias en los indicadores de objetivos de nivel Fin y Propósito y la inconsistencia entre la delimitación territorial utilizada en el resumen narrativo del Fin (se utilizó intramunicipal) y la usada en el método de cálculo del mismo indicador (se usó intermunicipal). La ED señaló ambigüedad en la definición de PO y la, equivocada, confluencia de ésta con la esta con la estrategia de cobertura, así como la confluencia de PO con PA. Así las evaluaciones realizadas al PDZP hasta la fecha son las EED 2009-2010 y 2010-2011 y la ECR 2011. La específica de desempeño 2009-2010 muestra que el PDZP capitalizó los hallazgos y recomendaciones hechas a los programas PDL y PAZAP; que el PDZP superó la mayoría de las metas anuales de sus indicadores de MIR; que incluyó una estrategia de cobertura explícitamente definida como tal y que el programa contó con un diagnóstico adecuado. Además de las fortalezas mencionadas, la EED 2009-2010 encuentra necesario justificar la priorización presupuestaria del componente de piso firme y mejorar el indicador del objetivo nivel Fin añadiendo el Índice de Marginación Absoluto. La EED 2010-2011 subraya lo señalado por la inmediatamente previa al encontrar que el PDZP prioriza presupuestalmente el componente de Piso Firme y recomienda reforzar otros rubros/componentes del programa para que el carácter integral del mismo se produzca efectivamente. Además




Teléfono (664) 631-6300

3

de lo anterior, la EED 2010-2011 encuentra avances en la cobertura y mejorías en la redacción del problema atendido. Se encontraron también logros superiores al 90% de las metas para la mayoría de los indicadores. La ECR 2011, finalmente, encuentra que el programa cuenta con un objetivo compuesto en el que se pretende atender tanto condiciones de vivienda como condiciones de infraestructura de las localidades atendidas; encuentra que si bien existe un listado de obras realizadas por el programa, éste no cuenta como un padrón de beneficiarios, y que si bien el PDZP ha atendido la mayoría de las recomendaciones de evaluaciones previas, éste no ha logrado definir satisfactoriamente los conceptos de Población Objetivo y Población Potencial. La Meta Evaluación encuentra pertinente pero inviable realizar una evaluación de impacto en las condiciones actuales del programa. Se proponen mejoras a indicadores estratégicos y se encuentran áreas de oportunidad en cuanto a la capacidad del programa para conocer la demanda total de apoyo y la ausencia de un padrón de beneficiarios, mismas que se consideran fundamentales para la planeación e implementación de una evaluación de impacto. En materia de Monitoreo la Meta Evaluación encuentra que el PDZP muestra avances significativos en la definición de la relación causal gracias a los cambios realizados a la lógica vertical desde 2009. A nivel Actividades se observa una reducción en el número de objetivos propuestos para quedar en 2012 con una sola actividad: Evaluación y aprobación de proyectos. A nivel Componentes se observó una mejoría y simplificación en la redacción de los resúmenes narrativos. El nivel de Propósito muestra pocos cambios entre 2009 y 2012 dado que desde su primera redacción éste se consideró adecuado salvo por la ausencia de la definición completa de la PO. La Meta Evaluación encuentra que la redacción de los resúmenes narrativos de nivel Fin ha mejorado para expresar de manera clara los impactos con los que busca contribuir a la reducción de las desigualdades regionales. Por otro lado, La Meta Evaluación encontró algunas mejoras en la lógica horizontal de la MIR, sin embargo resalta que los indicadores no son adecuados en su totalidad pues los indicadores de Propósito y Fin refieren a fuentes de información actualizada quinquenalmente. Se encontró que el indicador de nivel Fin mejoró entre 2008 y 2009 al lograr informar sobre la contribución del programa a la disminución de la brecha de acceso a infraestructura social básica, permitir comparaciones entre distintos periodos de tiempo e informar sobre todas las acciones entregadas a través del programa. En 2010 una serie de comentarios al indicador de Fin incluyó como área de mejoría la frecuencia de medición del mismo. El indicador de Propósito mejoró significativamente de 2008 a 2009 y después de dicha modificación éste no ha




Teléfono (664) 631-6300

4

sido modificado. En 2010 y 2011 se advirtió que la medición quinquenal de los valores del indicador impedía dar seguimiento adecuado al desempeño del programa. Sobre el estado actual de la MIR la Meta Evaluación encuentra que predominan las áreas de mejoría en los niveles de Fin y Actividades. Se encontró que resulta necesario reflejar el desempeño de actividades adicionales a la evaluación y aprobación de proyectos como la asesoría técnica a otros órdenes de gobierno, la promoción y difusión del programa y el seguimiento a la calidad de las obras. Respecto al indicador de nivel Fin se considera que, en congruencia con los esfuerzos de focalización del programa y con el indicador de desempeño de dicho nivel, el resumen narrativo debe volver a redactarse con municipios, y no regiones, como la delimitación territorial de referencia.




Teléfono (664) 631-6300

5

Índice

RESUMEN EJECUTIVO .................................................................................................................................. 1 I. INTRODUCCIÓN ..................................................................................................................................... 6 II. DESCRIPCIÓN DEL PROGRAMA .................................................................................................... 7 III. METODOLOGÍA ................................................................................................................................. 9

1. En materia de Evaluación ..................................................................................................................... 9 2. En materia de Monitoreo .................................................................................................................... 11 3. Fuentes de Información ...................................................................................................................... 11 4. FODA ................................................................................................................................................. 11

IV. ANÁLISIS DE LAS EVALUACIONES REALIZADAS AL PROGRAMA DE 2007 A 2012

EVALUACIONES ........................................................................................................................................... 13

1. De Consistencia y Resultados ............................................................................................................. 13 2. De Indicadores .................................................................................................................................... 16 3. De Proceso .......................................................................................................................................... 16 4. De Diseño ........................................................................................................................................... 16 5. De Impacto.......................................................................................................................................... 18 6. Específicas .......................................................................................................................................... 20

IV. ANÁLISIS DE EVALUACIONES REALIZADAS A PROGRAMAS SIMILARES EN EL

TERRITORIO NACIONAL O EN EL EXTRANJERO. ................................................................................ 26 V. VIABILIDAD Y PERTINENCIA DE UNA EVALUACIÓN DE IMPACTO DEL .............................. 34

1. Pertinencia de una evaluación de impacto .......................................................................................... 35 2. Viabilidad de una evaluación de impacto ........................................................................................... 35

VI. MONITOREO. ANÁLISIS HISTÓRICO DE LA MIR 2007-2012 ................................................... 37

1. Evolución de la MIR según los comentarios de evaluadores externos e instancias de gobierno

facultadas ..................................................................................................................................................... 38 2. Análisis de la situación actual de la MIR y recomendaciones de mejora ........................................... 41

2.1. Sobre la lógica vertical de la MIR .............................................................................................. 41 2.2. Sobre la lógica horizontal de la MIR ......................................... ¡Error! Marcador no definido.

BIBLIOGRAFÍA ............................................................................................................................................. 51 ANEXO 1. SÍNTESIS DE EVALUACIONES 2007-2012 ............................................................................. 54 ANEXO 2. SÍNTESIS DE EVALUACIONES DE PROGRAMAS SIMILARES NACIONALES O

INTERNACIONALES .................................................................................................................................... 78 . ........................................................................................................................................................................ 94 ANEXO 3. AGENDA DE EVALUACIÓN 2013-2018 CON BASE EN NECESIDADES DETECTADAS

DEL PDZP ....................................................................................................................................................... 94 ANEXO 4. ANÁLISIS FODA (FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS)

DEL PDZP ..................................................................................................................................................... 102




Teléfono (664) 631-6300

6

I. INTRODUCCIÓN La Meta Evaluación se estructura en dos apartados generales. El primero muestra el análisis en torno a la evaluación del programa en el periodo 2007-2012. De manera sintética se presentan los principales hallazgos de las evaluaciones realizadas al programa, las evaluaciones de programas similares en México y en el extranjero y se analiza la viabilidad y pertinencia de una evaluación de impacto. En el segundo apartado se presenta el análisis histórico de la MIR del programa y se analiza la evolución de los instrumentos de monitoreo (lógica vertical y horizontal de las matrices de indicadores para resultados), a la par de los comentarios que instancias como CONEVAL, la Secretaría de la Función Pública y la Secretaría de Hacienda y Crédito Público han emitido sobre ellos para así ofrecer un análisis propio del estado actual de la MIR y proponer recomendaciones de mejora. La Meta Evaluación incluye una agenda de evaluación 2013-2018 cuyo objetivo es aportar conocimiento que no está disponible/presente en las evaluaciones 2007-2012. En la agenda se programan evaluaciones que pueden aportar información y análisis útiles para el programa, cuente o no este último con evaluaciones parecidas o equivalentes en el periodo 2007-2012. El documento presenta también un análisis de Fortalezas, Oportunidades, Debilidades y Amenazas para cada uno de los programas en el que éste se toma en cuenta como un sujeto inmerso en un modelo de gestión para resultados en el que la evaluación y el monitoreo juegan un papel central en la mejoría de los programas respecto a sus metas.




Teléfono (664) 631-6300

7

II. DESCRIPCIÓN DEL PROGRAMA El Programa para el Desarrollo de Zonas Prioritarias (PDZP) forma parte de los programas sujetos a reglas de operación a cargo de la Unidad de Microrregiones de la Secretaría de Desarrollo Social (SEDESOL). El programa es resultado de la fusión, en 2009, del Programa para el Desarrollo Local (Microrregiones) y el Programa de Apoyo a Zonas de Atención Prioritaria (PAZAP). El primero operó de 2002 a 2008 y el segundo en 2008. El programa Microrregiones fue redefinido en 2008 y éste, a su vez, fue redefinido en el PDZP. Al 2012, el objetivo general del PDZP es “contribuir a la reducción de las desigualdades regionales a través del fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las regiones marginadas, rezagadas o en pobreza a los procesos de desarrollo”. Para el efecto, el PDZP apoya obras y acciones en los siguientes rubros: 1) infraestructura social y de servicios;elaboración de estudios o proyectos ejecutivos y construcción, ampliación, mejoramiento, equipamiento o rehabilitación de sistemas de agua potable, saneamiento, rellenos sanitarios o similares, redes o sistemas de energía eléctrica, infraestructura educativa y de salud, infraestructura productiva comunitaria, sistemas de comunicación (telefonía y conectividad digital, entre otros), centros comunitarios digitales y otros espacios para el desarrollo comunitario; 2) mejoramiento de la vivienda; mejoramiento de la rehabilitación de pisos firmes, servicio sanitario, fogones altos, estufas rústicas o similares, muros reforzados y techos (ROP 2012). “El Programa se vincula con el Plan Nacional de Desarrollo 2007-2012 en su Eje Rector 3 (Igualdad de Oportunidades), Objetivo 1 (Reducir significativamente el número de mexicanos en condiciones de pobreza con políticas públicas que superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar oportunidades de trabajo), así como con el Programa Sectorial de Desarrollo Social 2007-2012, Objetivo 3 (que propone disminuir las disparidades regionales a través del ordenamiento territorial y la infraestructura social comunitaria, que permita la integración de estos territorios a los procesos de desarrollo), en sus Estrategia 3.1 (Apoyar las regiones más marginadas del país para reducir la brecha regional de desarrollo humano) y 3.3 (Impulsar el ordenamiento territorial nacional y el desarrollo regional mediante acciones coordinadas entre los tres órdenes de gobierno y concertadas con la sociedad civil) (ROP 2012; ECR 2011-12).




Teléfono (664) 631-6300

8

La población potencial (PP) son: 1) localidades de los municipios de alta y muy alta marginación que forman parte de las Zonas de Atención Prioritaria (ZAP); 2) localidades de los municipios con grado de marginación medio, bajo o muy bajo catalogados como predominantemente indígenas; 3) localidades con grado de marginación muy alto y alto en municipios con grado de marginación medio, bajo o muy bajo; 4) localidades de media, baja y muy baja marginación que presenten rezagos enmaterias de piso firme y/o servicio sanitario ubicadas en municipios de marginación media, baja y muy baja. La PP no está contabilizada en términos de hogares o habitantes (unidad de medida establecida en las ROP vigentes), sino de localidades. Según cálculo de 2010, asciende a 132,081 localidades. Por su parte, la población objetivo (PO) fue definida como “los habitantes de los territorios en los que se haya identificado alguno de los rezagos previstos en el numeral 3.5 de las Reglas de Operación vigentes, conforme la suficiencia presupuestal para el ejercicio vigente y los criterios de focalización y priorización previstos”. En 2010, se cuantificó en 30,600 localidades (equivalente a 23% de la PP). Para el ejercicio fiscal 2011, se asignaron al Programa 6,194.3 millones de pesos, de los cuales, 6,073.7 corresponden a subsidios. Con dichos recursos se planeó: 1) A nivel Fin: “contribuir a la reducción de las desigualdades regionales a través del fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las regiones marginadas, rezagadas o en pobreza a los procesos de desarrollo”. Dicha contribución es medida a través del Índice de acceso a la infraestructura básica en la vivienda, el cual permite conocer la diferencia en las condiciones de cobertura de servicios básicos en viviendas particulares ubicadas en ZAP y no ZAP. Al 2012, dicha brecha estimada fue del 13.44%. Ello indica una reducción de la brecha ya que en 200 ésta fue de 30.52% y en 2005 ésta fue de 20.82%. A nivel Propósito: contribuir a que los “territorios objetivo [tengan] mayor acceso a infraestructura social básica y cuenten con viviendas mejoradas”. Lo anterior se mide mediante el indicador mencionado anteriormente. En el año 2000, el Índice de acceso a la infraestructura básica en la vivienda en ZAP tuvo un valor de 60.28%, mismo que llegó al 70.38% en 2005. Al 2012, el Índice de acceso a la infraestructura básica en la vivienda en ZAP tuvo un valor de 78.97%.




Teléfono (664) 631-6300

9

III. METODOLOGÍA

1. En materia de Evaluación

En la presente Meta Evaluación se analizan las evaluaciones realizadas durante el periodo 2007-2012, identificando para cada una de ellas los principales hallazgos, y en el caso de evaluaciones complementarias, de resultados o de impacto, se emitirá una valoración técnica sobre las metodologías empleadas. Para cada una de las evaluaciones comprendidas en el periodo se presentan de manera sintética los resultados obtenidos para cada programa a lo largo del periodo 2007-2012, a fin de valorar el grado de éxito.

Además de lo anterior se revisan los informes de evaluación de resultados o de impacto en el ámbito nacional o internacional de programas similares, ya sea para todo el conjunto de bienes y servicios que entrega o para algunos de los componentes similares que entrega el programa. Para cada uno de los informes, se realiza una síntesis de los principales resultados y una valoración técnica de la metodología empleada.

Con base en los principales resultados de las evaluaciones en el periodo 2007-

2012, y el análisis de la información proporcionada, se propone una agenda de evaluación para el periodo 2013-2018, incorporando para cada evaluación propuesta una justificación técnica y/o empírica sobre la importancia para el Programa. Se señalarán los periodos de ejecución (anual, bienal, etc.) y el orden en el que se deberán ir implementando cada una de las evaluaciones propuestas.El Colegio de la Frontera Norte y consideraró como mínimo los siguientes criterios al momento de proponer algún tipo de evaluación para la agenda:

a) De Diseño: Cuando desde el punto de vista de El Colef y/o basado en

evidencia de las evaluaciones analizadas, no existe claridad o congruencia entre el diseño y la normatividad aplicable o se considere necesario revisar la vinculación con la planeación sectorial y/o se considera pertinente revisar la justificación de creación del programa.

b) De Indicadores: Cuando se considere que los indicadores establecidos en la MIR no están definidos con claridad o pudiesen no ser pertinentes y/o suficientes para medir el logro de sus resultados. Se tomarán en cuenta las recomendaciones emitidas a las MIR por los diferentes actores




Teléfono (664) 631-6300

10

involucrados y/o como resultados de las evaluaciones en el periodo 2007-2012.

c) De Procesos: Cuando en las evaluaciones de consistencia y resultados

revisadas, en sus respectivos apartados de Operación, o en otras evaluaciones; se considere que existen indicios que recomienden investigar la operación del programa con la finalidad de conocer cómo sus procesos (traducidos en sus componentes) conducen al logro de la meta a nivel propósito, así como cuando se considere conveniente detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan.

d) De Resultados: Cuando sea analizada la importancia de obtener resultados de uno o varios componentes del programa, sin que en esta evaluación se valoren efectos contra un grupo de comparación, sino que muestre indicios del desempeño del Programa.

e) De Impacto: Cuando se considere la importancia de realizar una evaluación

de este tipo con el fin de determinar los efectos netos del programa sobre los beneficiarios, cuyos resultados permiten obtener conclusiones importantes acerca de la eficacia de éste para resolver el problema al que está enfocado, o provenga como parte de las recomendaciones de las evaluaciones revisadas. En este caso, se señalarán cuáles serían las principales variables de impacto a medir y la justificación.

f) Específicas o Complementarias: Cuando el análisis de las evaluaciones

revisadas detectan áreas de oportunidad o intereses factibles de evaluar, por ejemplo, una evaluación de percepción de beneficiarios, o una evaluación de costo-beneficio para la entrega de bienes y servicios, etc.

Con base en el análisis de la información disponible, El Colef valora la viabilidad y

pertinencia de llevar a cabo una evaluación de impacto. Para aquellos programas que se determine que disponen de fuentes de información suficientes, se esboza una posible metodología para la medición del impacto. Para aquellos programas en que se consideró que no es posible realizar una evaluación de impacto, se justifican las restricciones, y señalanlas áreas de mejora para que en un mediano plazo, sea posible realizar una evaluación de este tipo.




Teléfono (664) 631-6300

11

2. En materia de Monitoreo

Se presenta un análisis histórico (2007-2012) de los principales cambios en la Matriz de Indicadores para Resultados derivados de observaciones emitidas por los actores involucrados en su revisión y/o derivado de evaluaciones

Tomando como dados los bienes y servicios que entrega (descritos en el nivel de Componentes de la MIR) y las características inherentes del programa; se valora la pertinencia y la congruencia del Resumen Narrativo de los niveles de Propósito y Fin de la MIR, en su caso se proponen áreas de mejora para la adecuación de los objetivos que persigue el programa. Se buscó con especial énfasis que las propuestas de Resumen Narrativo sean factibles y acordes a la normatividad existente en la materia. Asimismo, se valora si los indicadores asociados a estos niveles, son pertinentes y/o suficientes para contribuir al objetivo que persigue y, en su caso, se proponen indicadores factibles y monitoreables, estableciendo de manera concreta el método de cálculo y la forma de obtención de la información.

3. Fuentes de Información

Para el desarrollo de la evaluación se consideran mínimamente las siguientes fuentes de información: a) Reglas de Operación b) Matriz de Indicadores para Resultados (MIR) c) Informes finales de evaluaciones externas de los programas d) Nota de cuantificación de la población potencial y objetivo e) Comentarios de actores involucrados en la revisión de indicadores de la MIR f) Histórico de Aspectos Susceptibles de Mejora (ASM) g) Entrevistas con los responsables de la operación de los Programas

4. FODA

Con base en el análisis en los temas de evaluación y monitoreo, El Colegio de la Frontera Norte presenta un apartado de fortalezas, oportunidades, debilidades y amenazas para cada uno de los programas sociales a evaluar. Las fortalezas, oportunidades, debilidad y/o amenazas están ordenadas de acuerdo a su relevancia, donde la primera es de mayor importancia con respecto a la segunda y así sucesivamente.




Teléfono (664) 631-6300

12

Asimismo, por cada oportunidad, amenaza o debilidad se establece al menos una recomendación que ayude a atender el reto o problema que fue identificado. Las recomendaciones establecidas son analizadas para garantizar su viabilidad, efectividad y seguimiento.

Las recomendaciones que se emitan deberán ser orginales, por lo cual se revisará el análisis histórico de los Aspectos Susceptibles de Mejora (ASM). Se presenta un apartado de conclusiones generales en el que se sintetizan los principales hallazgos para cada programa, se determinan los resultados obtenidos en materia de evaluación y monitoreo, se valora el éxito alcanzado, y se establecen las principales recomendaciones.




Teléfono (664) 631-6300

13

IV. ANÁLISIS DE LAS EVALUACIONES REALIZADAS AL PROGRAMA DE 2007 A 2012 EVALUACIONES

El análisis que a continuación se presenta ha tomado como referencia a las Evaluaciones Externas del Programa para el Desarrollo de Zonas Prioritarias realizadas en el periodo 2007-2012. Los resultados, hallazgos y recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y atendidas conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. Naturalmente, todas las opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador. Más importante aún, el sentido de llevar a cabo un ejercicio como el presente no es identificar aspectos susceptibles de mejora que no han sido atendidos por el programa, sino identificar tendencias y áreas de mejora del programa en el marco amplio de la gestión por resultados. De 2007 a 2011 ha sido objeto de diez evaluaciones externas, tanto como PDZP como por los programas que se fusionaron para su creación: una Evaluación de Impacto del Programa Piso Firme (en el Estado de Coahuila), una Evaluación de Diseño (2008 del PAZAP), dos Evaluaciones de Consistencia y Resultados (2007 del PDL y 2011-2012 del PDZP), cuatro Evaluaciones Específicas de Desempeño (2008-2009 del PDL y PAZAP, 2009-2010 del PDZP y 2010-2011 del PDZP), una Evaluación Específica de Monitoreo de Obra Pública (2009 del PDL) y una Evaluación de Percepción de Beneficiarios (2011).

1. De Consistencia y Resultados Las evaluaciones de consistencia y resultados (ECR) son evaluaciones en las que primordialmente a través de investigación de gabinete se analiza el diseño, la planeación y orientación a resultados, la cobertura y focalización, la operación, la satisfacción de la población beneficiada y la medición de resultados del programa. De 2008 a 2011 estas evaluaciones fueron modificadas para que en el último año mencionado éstas fueran más sintéticas y de lectura más sencilla y ágil. Sin embargo los temas abordados por las ECR 2008 y 2011 de un mismo programa sí permiten valorar la evolución, las mejorías y las modificaciones hechos por éste entre una y otra evaluación.




Teléfono (664) 631-6300

14

Evaluación de Consistencia y Resultados 2007 del Programa para el Desarrollo Local (Microrregiones)

De acuerdo con la evaluación, el programa de Desarrollo Local (Microrregiones) integró de manera exitosa el esquema territorial en la política de desarrollo social mediante el fortalecimiento de los Centros Estratégicos Comunitarios. De acuerdo a la evaluación, el enfoque territorial mejora la pertinencia social y económica, el respecto a la diversidad cultural de las regiones y la congruencia con el Plan Nacional de Desarrollo de los programas sociales que la adoptan. Sin embargo, la evaluación encuentra que el programa puede mejorar conceptualizando mejor, documentando mejor y operando mejor algunos de los temas expuestos a continuación: En el tema de diseño la evaluación sugiere “precisaryexplicitarelproblemaconcretoquedaorigenalprograma,integrarundiagnósticogeneralyactualizadodelaproblemáticaidentificada,dimensionarydiferenciarmásclaramentelapoblaciónpotencialdelapoblaciónobjetivo,seleccionarlasvariablesdelosíndicesdemarginación,rezagoydesarrollohumanoqueconstituiránlabasedemedicióndelosindicadoresdeFinyPropósito.” Lo anterior equivale, en la práctica, a rediseñar el programa y eso explica, al menos parcialmente, la evolución y los cambios que éste ha sufrido en los últimos seis años. De acuerdo con la evaluación, el programa debería dedicar sus esfuerzos haciael “desarrolloyconsolidacióndelainfraestructurasocialbásica,deserviciosyproductiva,quepuedaposibilitareldesarrollo local.” La evaluación detectó la ausencia de, y la necesidad de, generar planes estratégicos y planes operativos anuales que detallen a corto, mediano y largo plazo las metas y los recursos, responsables y medios indispensables para lograrlas. Igualmente, la evaluación detectó la necesidad de y la posibilidad técnica de redefinir las poblaciones potencial y objetivo con criterios territoriales que facilite y briden coherencia a la aplicación de recursos y la medición de los resultados del programa. De acuerdo con la evaluación, las definiciones nuevas permitirían crear un padrón de beneficiarios adecuado a las necesidades del programa. En materia de operación la evaluación destaca la importancia de generar y sistematizar la generación y el manejo de información de tal forma que el monitoreo permita tomar decisiones acertadas oportunamente.




Teléfono (664) 631-6300

15

Finalmente, en materia de satisfacción de los beneficiarios y medición de resultados, la evaluación encontró que el programa no contaba ni con los instrumentos y metodologías para conocer la satisfacción de sus beneficiarios, ni con indicadores suficientemente establecidos como para generar resultados con técnicas y metodologías cuantitativas y cualitativas. Evaluación de Consistencia y Resultados (ECR) 2011, Programa de Desarrollo

de Zonas Prioritarias (PDZP)

La ECR 2011 del Programa de Desarrollo de Zonas Prioritarias (PDZP) señala que la definición del problema que atiende el Programa señala dos ámbitos de acción: por un lado la insuficiente infraestructura social básica y por el otro lado las condiciones inadecuadas de vivienda en los territorios de marginación alta y muy alta. La evaluación señala también una incompatibilidad entre ROP y la Nota de Población 2011 que señalan como población potencial a habitantes y localidades respectivamente. La evaluación encontró una adecuada alineación entre los objetivos del programa y las metas sectoriales, nacionales y del milenio. Se detectó también un listado de las obras realizadas en el ejercicio fiscal del año de referencia, mismo que, de acuerdo a la ECR 2011, no califica como padrón de beneficiarios dado que no cuenta con las características mínimas establecidas en los Lineamientos Normativos para la Integración del Padrón de beneficiarios de la SEDESOL. De acuerdo a la evaluación, los indicadores de la MIR presentan los requisitos necesarios contemplados como estándares de suficiencia por la evaluación y se establece que el programa cuenta con un Plan Estratégico con metas anuales (no contempla el mediano plazo) que no incluye indicadores para conocer el avance anual de las metas. El PDZP ha dado seguimiento y atención a la gran mayoría de los ASM resultados de evaluaciones anteriores.Si bien la ECR 2011 enfatizó que el programa no ha logrado atender satisfactoriamente las observaciones hechas por diversas evaluaciones sobre la necesidad de definir mejor los conceptos de población potencial y objetivo, la presente Meta Evaluación tuvo evidencia de que el programa homogenizó sus unidades de valor de medida a ‘localidad’. La evaluación afirma que a pesar de contar con un Documento Estratégico, el programa no cuenta con una estrategia documentada para atender a la PO dado que




Teléfono (664) 631-6300

16

tampoco cuenta con mecanismos para identificarla al no contar con un listado de localidades susceptibles de atención en el mediano plazo. La evaluación encuentra que el Programa “identificó como población potencial y objetivo en 2010 a 132 mil 081 localidades y tuvo una cobertura del 23% de las mismas (30 mil 600).” La evaluación encontró que el PDZP sistematiza su información pero que no cuenta con los mecanismos para conocer la demanda total de apoyo o las características socio-económicas de los solicitantes. Por otro lado, y a la par de una gran cantidad de programas sujetos a reglas de operación, el PDZP no cuenta con medios para verificar procesos clave de su operación como lo son selección de proyectos, el procedimiento de entrega de apoyos y para la recepción, registro y trámite de las solicitudes de apoyo. La ECR 2011 encontró que el PDZP cuenta con instrumentos para conocer la satisfacción de sus beneficiarios que no induce respuestas favorables al programa y que presentan escalas de valor adecuadas. Sin embargo el universo de acciones del programa sujetas a este tipo de indagación se consideró demasiado reducido (un total de 188 acciones) y la evaluación considera necesario que se conozca la satisfacción de beneficiarios de la mayor diversidad posible de acciones del programa. La evaluación recomendó ‘rotar la muestra de los distintos tipos de apoyo’ que son sujetos a una valoración de satisfacción de beneficiarios.

1. De Indicadores

El Programa no cuenta con evaluaciones de indicadores en el periodo de referencia.

2. De Procesos

El Programa no cuenta con evaluaciones de procesos en el periodo de referencia.

3. De Diseño

El Programa de Apoyo a Zonas de Atención Prioritaria (PAZAP) contó con la Evaluación de Diseño 2008, misma que, de manera general, encontró un diseño adecuado para que los paquetes básicos de apoyo del programa (vivienda e infraestructura social básica) tengan una incidencia efectiva y positiva en la calidad de vida de los habitantes de las localidades y los municipios de alta y muy alta marginación. La evaluación detectó las siguientes fortalezas del programa:




Teléfono (664) 631-6300

17

El Programa focaliza territorios marginados y contribuye así a garantizar un gasto social progresivo que favorece la reversión del desarrollo “desequilibrado” al mediano plazo.

El Programa entrega bienes públicos y privados y promueve “sinergias y externalidades positivas concurrentes” en beneficio de la calidad de vida y mejoramiento del capital humano de los habitantes de las localidades atendidas.

El enfoque territorial del programa promueve sinergias y complementariedades

con Microrregiones y Estrategia 100x100.

Las áreas de mejora encontradas por la evaluación de Diseño son las siguientes:

Se invalidó la lógica horizontal debido a las inconsistencias encontradas en los indicadores de objetivos de nivel Fin y Propósito y debido a la ausencia de dos indicadores para objetivos de actividades. El resumen narrativo del objetivo nivel Fin enfatiza la dimensión intramunicipal de las desigualdades en acceso a la infraestructura social y el método de cálculo mide la dimensión intermunicipal. La evaluación encontró que faltaban los indicadores para las actividades Selección, validación y autorización y Supervisión y seguimiento.

La evaluación encontró ambigüedad en la definición de PO y en la estrategia de cobertura ya que algunos documentos identifican una con la otra, así como también en algunas instancias el Programa confunde población objetivo con población atendida y viceversa. La evaluación sugiere “que el programa defina explícitamente (en un documento público) los principios y criterios centrales de la estrategia de cobertura, y produzca una lista clara de territorios ‘meta’ y ‘atendidos’ para cada año presupuestal, en función de los recursos disponibles.” (ED, 2008 PAZAP).

La evaluación encontró que la ausencia de mecanismos que incentiven la creación

de esquemas de cooperación y sinergia entre los tres niveles de gobierno el Programa tendrá muy pocas probabilidades de homogeneizar los grados de coordinación entre los niveles estatal y municipal de gobierno.

Finalmente, la evaluación propone que el incremento en tipos de obras

desarrolladas por el programa esté acompañado de estrategias participativas que promuevan la apropiación, el cuidado y el uso apropiado de las obras del




Teléfono (664) 631-6300

18

Programa.

4. De Impacto

El Programa no cuenta con una evaluación de impacto en el periodo de referencia. Sin embargo existen evaluaciones rigurosas de impacto para algunos de los componentes del PDZP. En lo siguiente se describen los principales hallazgos de la evaluación de impacto del programa Piso Firme (Coahuila) y de la Estrategia Microrregiones (2007). Piso Firme: El objetivo de la evaluación de impacto del Programa Piso Firme fue conocer el impacto atribuible al programa Piso Firme en las variables de efectividad de sustitución de pisos de tierra, salud (episodios de diarrea, anemia y parásitos) y satisfacción y calidad de vida de los habitantes beneficiarios. Para ello la evaluación tuvo un diseño cuantitativo, pseudo-experimental con base en la discontinuidad geográfica-administrativa del área geográfica urbana intervenida la comparación de observaciones de un grupo de contrafactuales elegidos vía matching de áreas geoestadísticas básicas (AGEB) y de manzanas dentro de AGEBs. La evaluación aprovecha adecuadamente un contexto de implementación extraordinario en el que la división administrativa de una ciudad entre dos estados de la república facilita la comparación entre hogares beneficiados y hogares no beneficiados cuya probabilidad de ser elegidos por el programa (suponiendo éstos hogares estuvieran en Coahuila y no en Durango) era muy cercana a a la de los hogares beneficiados. El emparejamiento de viviendas en el grupo de control con las del grupo de tratamiento se considera adecuado. Éste respondió a variables de incidencia de pisos de tierra por manzana en el año 2000, número de menores de 6 años por hogar, y un índice socioeconómico de año base 2000. Las variables que la evaluación buscó informar fueron pertinentes y la evaluación produjo evidencia clara y contundente que favoreció la expansión territorial del programa. Los resultados de la evaluación fueron los siguientes. En materia de efectividad la evaluación encontró que “la proporción de ambientes con pisos de cemento en las viviendas del área de control es alrededor de 82%, mientras se estima que de haber recibido el programa la proporción de ambientes con piso de cemento en dichas viviendas hubiera sido 100%.” Se encontraron resultados positivos para el resto de las variables de efectividad (número de viviendas con piso firme en todos los ambientes, con piso firme en la cocina y con piso firme en todos los dormitorios).




Teléfono (664) 631-6300

19

En materia de satisfacción de beneficiarios la evaluación encuentra que los habitantes de las áreas de tratamiento se encontraron mucho más satisfechas que sus contrapartes del grupo de control. En particular, la evaluación encuentra que de haber recibido el tratamiento, los hogares hubieran estado más satisfechos con la calidad de sus viviendas en general y con la protección que ofrecen sus viviendas contra el agua. Además, en presencia del programa estos hogares hubieran estado más satisfechos con la calidad de sus vidas y con los cambios ocurridos en sus viviendas desde el año 2000. Por otro lado, en materia de salud la evaluación reportó que el programa logra incidir positivamente en la salud de los niños y niñas de los hogares tratados al encontrar una reducción importante en casos de diarrea, anemia y parásitos. La evaluación también reporta que Piso Firme tuvo un impacto positivo en el desarrollo cognitivo al encontrar que la media del grupo de tratamiento fue 7% superior a la media del grupo de control una vez aplicada la prueba de desarrollo cognitivo ‘Peabody’. Finalmente, la evaluación también encontró impactos del programa en las mejoras del ánimo y la reducción del estrés de las madres. Finalmente, en materia de ingreso la evaluación encontró que el programa no tuvo impactos en las variables de ingreso laboral, patrones de migración y número de dependientes económicos por hogar, mientras que el programa sí tuvo un impacto positivo en la asistencia escolar de los niños beneficiarios del programa. Estrategia microrregiones: La metodología de la Evaluación de Impacto de la Estrategia Microrregiones (EM) 2007 es cuasi-experimental. Se estima el impacto de la EM con la técnica de regresión discontinua y la comparación entre grupos de control y tratamiento con información censal y de conteos de vivienda 2000 y 2005, respectivamente con tres muestras de distintos tamaños que permiten balancear unos resultados con otros. Dicha metodología se considera adecuada ya que la regresión discontinua es una técnica estadística que permite estimaciones confiables y precisas. Por ello es ampliamente utilizada para la estimación de los efectos de tratamiento en programas sociales y se considera una elección adecuada para la evaluación de la EM. Además de la técnica utilizada, se considera que se valoraron adecuadamente los ‘trade-offs’ o sacrificios entre poder estadístico y comparabilidad entre grupos de tratamiento y




Teléfono (664) 631-6300

20

control y en función de ello es que se considera quela evaluación tiene un diseño adecuado. Éste le permite identificar exitosamente cambios pequeños en el valor de las variables de impacto el impacto de la EM incluso cuando entre 2000 y 2005 la totalidad de las variables observadas presentaron reducciones. Los hallazgos principales de la evaluación realizada en el 2007 fueron los siguientes: A nivel municipal la evaluación encontró que la combinación de los resultados de las tres muestras sugieren la posibilidad de un impacto de la EM. Sin embargo éste sería demasiado pequeño como para ser observado y por ello la evaluación concluyó que, salvo por uno de sus componentes, no existió evidencia estadísticamente significativa de un impacto atribuible a la Estrategia Microrregiones en las variables de interés. En términos de los impactos de los componentes específicos resalta que seis de los siete componentes observados registran, o bien desplazamientos positivos (indicando que la reducción de la marginación en los municipios de la EM no fue mayor a la reducción de la marginación en municipios que no están en la EM), o bien falta de significancia estadística. El único componente de la estrategia que parece tener un impacto estadísticamente significativo atribuible a la EM es el número de viviendas sin agua entubada. En este componente la evaluación encontró una reducción estadísticamente significativa de 3.86 puntos porcentuales. Sin embargo existe evidencia que sugiere que la reducción observada en este componente está relacionada con un efecto municipal agregado del estado de Oaxaca y su elevado número de municipios. La evaluación encontró que las regresiones en las que se omiten los resultados de dicho estado la magnitud del impacto disminuye sustancialmente. A nivel localidad la evaluación sugiere un impacto en el sentido esperado (negativo) en 7 de los 8 componentes evaluados al registrar, entre 2000 y 2005 una reducción de -5.63 para el grupo de control y de -6.04 para el grupo de tratamiento. Sin embargo, en cuanto a resultados de accesibilidad a obras y servicios la evaluación reporta que “no existe un efecto neto agregado para las localidades del grupo de control frente al de tratamiento”. Finalmente, la evaluación encontró que la EM no ha logrado mejorar la diversificación de las actividades económicas de los habitantes. De acuerdo con los hallazgos de la evaluación, la EM no encontró diferencias significativas en las variables de tasas de empleo, niveles salariales y predominio de actividades agrícolas.

5. Específicas




Teléfono (664) 631-6300

21

Evaluación Específica de Desempeño 2008 del Programa de Desarrollo Local (Microrregiones)

A pesar de la redefinición del programa en PAZAP, también se aplicó Evaluación Específica de Desempeño 2008 al PDL. En ella se encuentra, a grandes rasgos, que éste“cuenta con un adecuado diagnóstico del problema”, con definiciones y cálculos adecuados de población potencial, con un seguimiento adecuado e institucionalizado de los documentos de aspectos susceptibles de mejora, y con indicadores estratégicos y de gestión pertinentes y confiables. Por otro lado, la evaluación encuentra inadecuadala “definición y el cálculo de la población objetivo” restringida a los centros estratégicos comunitarios, y encuentra también necesario llevar a cabo una evaluación externa para documentar resultados que permitan conocer el efecto del programa entre su población atendida. Finalmente, la evaluación considera irrelevantes a la mayoría de los indicadores de gestión dado que éstos miden su avance respecto a metas sectoriales y no del programa mismo. Se considera que las EED son herramientas útiles para el monitoreo del desempeño de los programas de la Administración Pública Federal. Su contenido permite valorar el desempeño de un programa en indicadores estratégicos a la par de la evolución de su presupuesto, cobertura y el seguimiento a aspectos de mejora. De acuerdo con CONEVAL, las EED muestran el “avance en el cumplimiento de los objetivos y metas programadas, a partir de un resumen de la información contenida en el Sistema de Evaluación del Desempeño (SED) y a través del análisis de indicadores de resultados, de servicios y de gestión.” (CONEVAL, 2010). Uno de los fuertes de las EED es que su formato permite extraer rápidamente información esencial y comparar el desempeño de programas del mismo sector por igual que con programas de otro sector. La frecuencia con la que se llevan a cabo (entre 2007 y 2012 se llevaron a cabo de 2008-2009, de 2009 a 2010 y de 2010 a 2011) se considera apropiada en el contexto de la importancia del monitoreo continuo del proceso de aprendizaje de los programas entorno a los focos de atención de dichas evaluaciones (MIR, Indicadores, cobertura, metas…) de EED. Por otro lado, su bajo costo resulta una forma costo-efectiva de monitorear programas que aún se encuentran realizando ajustes en ROP, MIR e indicadores.Sin embargo puede resultar favorable que los programas que ya pasaron por el proceso de mejora continua que significó el periodo 2007-2012 y que cuentan con sistemas de monitoreo robustos de sus indicadores y su cobertura lleven EED bienales.

Evaluación Específica de Monitoreo de Obra Pública del Programa de Desarrollo Local (Microrregiones)




Teléfono (664) 631-6300

22

La evaluación de Monitoreo de Obra Pública del Programa de Desarrollo Local (Microrregiones) se llevó a cabo con un marco muestral de 2401 obras. Sin embargo el número de obras estudiadas fue de 300. Estas obras fueron seleccionadas de manera aleatoria y bietápica y estuvieron distribuidas en 22 municipios de 13 entidades federativas. La evaluación recogió una gran cantidad de información sobre las obras entregadas por el programa por medio de encuestas realizadas en 294 municipios con 1150 personas beneficiadas. Tanto el apartado metodológico como la postura institucional respecto a esta evaluación resaltan adecuadamente cuáles son los límites del diseño y la metodología de la evaluación. La evaluación tiene una limitada representatividad de los resultados respecto a la diversidad de acciones de los programas evaluados(los apoyos para construcción de obra pública son una de las líneas de acción de los cinco programas evaluados) y por lo tanto es imposible generalizar, a partir de esta evaluación, sobre la gestión y el desempeño de los programas con base en esta evaluación solamente. Por otro lado, la representatividad nacional de los resultados de evaluación sólo es posible en la información referente a la revisión de expedientes técnicos, la verificación directa y las preguntas más generales de operación, mientras que los resultados por tipo de obra no reflejan el comportamiento del universo. La evaluación encuentra que las obras evaluadas fueron financiadas en un 64.8% por el gobierno federal y en un 18.5% por gobiernos estatales.En general son resultados positivos los que reporta la evaluación, ya que se logró documentar la existencia del 99% de las obras de la muestra y se encontró que de éstas el 89.1% se encontraba en funciones. Sin embargo el programa no está exento de observaciones. Por ejemplo, la evaluación encontró que tres obras de las que mostraban metas alcanzadas y actas de entrega-recepción no fueron encontradas. Entre los hallazgos de los levantamientos en campo la evaluación encuentra lo siguiente:

a) El 87.3% de las obras ha recibido mantenimiento de buena calidad.

b) 27.7% de los beneficiarios considera que la obra construida aún no requiere mantenimiento.

c) 24.1% de las obras se construyeron en 2002 y 14.1% en 2003 por lo que los

evaluadores no descartan que las obras necesiten mantenimiento contra el desgaste natural ocasionado por el tiempo.

d) 8.7% de los encuestados indicó que la obra no funcionaba al momento del




Teléfono (664) 631-6300

23

levantamiento de las encuestas.

e) 115 de los 1074 beneficiarios encuestados afirman que las obras están en mal estado de ellos el 23.4% opina que ello implica riesgos importantes para la salud.

La evaluación de Monitoreo de Obra Pública del Programa para el Desarrollo Local concluye y recomienda lo siguiente:

a) Analizar el motivo por el cuál sólo el 79% de las obras hidráulicas funciona.

b) Implementar medios de verificación de llenado de expedientes y destino final de recursos.

c) Estandarizar calidad de obra para no profundizar desigualdad regional.

d) Generar un catálogo de acciones de mantenimiento preventivo por tipos de obras.

e) Promover la apropiación comunitaria participativa de las obras para asegurar en

mayor medida su aceptación y cuidado.

f) Revisar obra reciente y verificar la solución efectiva de problemas en la integración de expedientes.

Algunas de las acciones con las que el programa respondió a estas recomendaciones son la generación del Manual de operación Programa para el Desarrollo de Zonas Prioritarias (PDZP); de los lineamientos y normas de elementos mínimos de las descripciones de obras; deprocedmientos de verificación de obras y calendarios de seguimiento a acciones, así como de los procedimientos de integración de expedientes.

Evaluación Específica de Desempeño (EED) 2008 del Programa de Atención a Zonas de Atención Prioritaria (PAZAP)

Como ya se dijo, en 2008 el programa fue redefinido del PDL (Microrregiones) al Programa de Atención a Zonas de Atención Prioritaria (PAZAP).Dada la reciente creación del programa y la falta de aspectos susceptibles de mejora resultados del ejercicio previo de seguimiento a evaluaciones externas, la EED 2008 del PAZAP no tuvo a la mano estos recursos. No obstante, la EED tuvo observaciones relativas a la




Teléfono (664) 631-6300

24

MIR, la definición de PP y PO, la cobertura y planeación del Programa, así como observaciones sobre la posible duplicidad con el Programa de Desarrollo Local (Microrregiones).

a) De acuerdo con la evaluación, la MIR presenta una lógica vertical adecuada, más no así en el caso de la lógica horizontal donde se encontró que la mayoría de los indicadores tenía poca relevancia.

b) La evaluación encontró que las definiciones de PP y PO presentan diversas áreas de mejoría. Entre ellas destaca la dificultad para cuantificar adecuadamente la PP con la definición existente que señala localidades con ‘alta concentración de pobreza’. También resalta la incongruencia generada por una definición de PO que alude a ‘personas que habitan en localidades…’ (definición en ROP vigentes del programa durante el periodo de referencia de esa evaluación) cuando la definición de PP alude a localidades.

c) La evaluación encuentra también que el programa no especifica el periodo de referencia para calcular la cobertura del mismo por lo que recomienda “establecer alguna planeación de la forma en que se piensa atender” a la población objetivo.

d) Finalmente, la EED señaló la duplicidad de esfuerzos entre PAZAP y PDL

(Microrregiones) que eventualmente dio lugar a su fusión.

Evaluación Específica de Desempeño 2009-2010 del Programa para el Desarrollo de Zonas Prioritarias (PDZP)

Si bien la EED 2009 del PDZP no cuenta con los insumos propios del programa como ASM, la evaluación encontró que las recomendaciones hechas al PAZAP y al PDL estaban siendo tomadas en cuenta para la mejora del programa fusionado PDZP. La evaluación encontró que el programa superó en su mayor parte las metas anuales para los indicadores de MIR y que el programa contó con un diagnóstico en el que se justifican los componentes del programa gracias a su notable contribución en el abatimiento de las desigualdades regionales. Por otro lado, la evaluación destacó la ausencia de una definición precisa de PP y PO en el 2009 y sugirió que 1) se justificara la priorización en la asignación de recursos otorgada a diversos rubros del Programa, en particular a piso firme, y 2) se relacionara el indicador de Fin con el Índice de Marginación Absoluto para tener un




Teléfono (664) 631-6300

25

indicador más completo para el resumen narrativo del nivel. En materia de cobertura la evaluación encontró que las ROP 2010 del PDZP contenían una definición explícita para la estrategia de cobertura de ese año, misma que estuvo ausente en los programas que dieron origen al PDZP. La EED 2009 reporta, para el componente de piso firme, una PP de 2, 453,673 viviendas y una PO de 510,964. La evaluación no reporta datos de viviendas atendidas en el periodo de referencia.

Evaluación Específica de Desempeño (EED) 2010-2011 del Programa de Desarrollo de Zonas Prioritarias

La EED 2010-2011 del PDZP reportó un balance positivo en el que se presentaron avances superiores al 90% en la gran mayoría de los indicadores y se cumplieron o rebasaron metas a pesar de las reducciones presupuestarias que marcaron el año de referencia. La evaluación reportó un avance positivo en la cobertura y una mejoría en la redacción del problema que atiende el programa y se observaron avances favorables para el componente de piso firme que superó su meta en un 4% con 584,695 viviendas. La evaluación recomienda reforzar los otros ‘rubros’ o componentes del programa de tal forma que su carácter integral aflore y produzca los efectos esperados. En respuesta a las observaciones que en repetidas ocasiones se le hicieron al programa, el Mecanismo de Seguimiento a Aspectos Susceptibles de Mejora ofrece mantener de manera homogénea y consistente la localidad como unidad de medida, generar una cuantificación de PP y PO que sea consistente con el enfoque territorial y que además facilite la posterior cuantificación de la Población Atendida.Dicha homogenización se considera adecuada porque constituye un avance determinante para el monitoreo efectivo de los resultados y la cobertura del programa. La evaluación señala que dada la falta de compatibilidad entre las definiciones de poblaciones PP y PO del año de referencia y los años previos no se pudo comparar la cobertura con ejercicios pasados.




Teléfono (664) 631-6300

26

IV. ANÁLISIS DE EVALUACIONES REALIZADAS A PROGRAMAS SIMILARES EN EL TERRITORIO NACIONAL O EN EL EXTRANJERO.

Las políticas nacionales de combate a las carencias de espacios y calidad de la vivienda están normalmente agrupadas con aquellas que además proveen de servicios e infraestructura básica y servicios de capacitación, espacios productivos y mejoramiento de espacios públicos. Este es también el caso de las dos más grandes evaluaciones de programas de vivienda en Latinoamérica: la Primera Evaluación del Plan de Acción Regional para los Asentamientos Humanos(Simioni y Szalachman 2007) y el Informe Regional Programa Regional de Vivienda Social y Asentamientos Humanos (CEPAL, 2005). La evaluación (el primer estudio de los previamente mencionados) se llevó a cabo con cuestionarios aplicados en Argentina, Bolivia, Chile, Costa Rica, El Salvador, Guatemala, Honduras, México, Panamá, Paraguay, Perú y República Dominicana. Las experiencias nacionales que sirven de ejemplos al informe de CEPAL (2005), fueron enviadas por los países participantes, y compiladas centralmente por MINURVI. La evaluación de Simioni y Szalachman (2005) encuentra, como hallazgo general, que las intervenciones que tienen impactos destacables en el bienestar de la población beneficiaria son aquellas que de manera simultánea abordan las problemáticas desde muchos frentes. Los programas que combinan acciones a acceso al suelo y regularización de propiedades junto con acceso a educación e infraestructura social como espacios públicos recreativos y educativos adecuados son los que tienen mejores resultados en desarrollo de capacidades y acceso a programas y financiamientos posteriores. En materia de producción y mejoramiento del acceso al suelo, Simioni y Szalachman encuentran que el componente más común de este tipo de intervenciones es la regularización de dominios y que las más efectivas son las que combinan componentes de regularización urbana-ambiental con actividades de mejoramiento organizacional de actores clave. De acuerdo con la evaluación, el Programa de Mejoramiento de Barrios (PROMEBA) y el Programa Rosario Hábitat, ambos en Argentina, legalizan títulos de propiedad y legalizaciones del dominio de la tierra, respectivamente, acompañados, en el caso del PROMEBA, de intervenciones en la infraestructura, espacios públicos y mejoramiento de vivienda. La evaluación encuentra que estas intervenciones no contemplan componentes de fortalecimiento de los instrumentos de planeación y gestión de los municipios y los operadores de los




Teléfono (664) 631-6300

27

programas, como tampoco incluían componentes de actualización del sistema catastral y de los sistemas de información sobre el mercado de la tierra. La evaluación también encuentra que en la mayoría de los países que implementan programas de vivienda popular el alto valor del suelo ‘empuja’ a los proyectos y programas de vivienda social a zonas alejadas y excluidas que minimizan las posibilidades de que los avances en materia de vivienda estén acompañados de incrementos en el bienestar y la inclusión social, y que por el contrario sientan las bases para facilitar la perpetuación de la pobreza (Simioni y Szalachman, 2005). Este comportamiento no es ajeno al caso mexicano, en el que existe evidencia, gracias a las evaluaciones de impacto llevadas a cabo por Paul Gertler al Programa Tu Casa en 2005 y 2006, de que las mejorías en espacios y calidad de la vivienda no están necesariamente acompañadas de mejorías en salud y calidad de vida. La investigación de Simioni y Szalachman encuentra que los programas que logran evitar la separación y exclusión geográfica de los beneficiarios de los programas de vivienda social son aquellos que utilizan el suelo y las edificaciones existentes en las zonas urbanas que o bien ya cuentan con infraestructura de servicios básicos o bien sólo deben ser incluidas en los planes de ampliación de los servicios. Simioni y Szalachman encuentran en Argentina dos casos de programas que exitosamente evitan la exclusión social de la población beneficiaria de programas de vivienda. Estos son el Programa Federal de Mejoramiento de Vivienda “Mejor Vivir”, y el Programa Rosario Hábitat. El primero atiende barrios consolidados y el segundo intenta transformar asentamientos y reforzar redes físicas y sociales para prevenir la desaparición y el desgaste de los servicios y de los mecanismos de colaboración entre pares que nutre la integración social. De acuerdo con el equipo evaluador se puede observar cierta regresividad en casi toda la región, pero algunos de los ejemplos más claros son los programas Subsidio Habitacional en República Dominicana que atiende mayoritariamente a población de ingreso medio y medio-bajo y el Paraguay el Programa Redescuento de Créditos Hipotecarios que atiende mayoritariamente a población con ingresos de nivel medio. Sin embargo, al mismo tiempo que señalar un sesgo regresivo en los programas de vivienda de la región, la evaluación también señala riesgos latentes en los programas que focalizan exitosamente a la población pobre ya que éstos tienden a crear ambientes sin heterogeneidad social y sin posibilidades de contacto entre personas de diversas clases sociales y niveles educativos. En el caso chileno de programas de vivienda social se han estudiado con especial rigor metodológico tres aspectos relevantes a cualquier política de reducción del déficit de vivienda en la región: si el tamaño de los programas es más adecuado, si los




Teléfono (664) 631-6300

28

bienes y servicios entregados por el programa son costo-efectivos y cuáles son los principales problemas de implementación. Respecto al tamaño de las intervenciones Ruprah y Marcano (2007), afirman que el déficit de vivienda en Chile en el 2003 hubiera alcanzado el 41.9% en lugar del 18% observado, por lo que se puede afirmar que la política de atención al fenómeno del déficit de vivienda estaba cumpliendo parcialmente con su propósito. El costo-beneficio de los programas de vivienda social chilenos fue calculado por los mismos autores de acuerdo al costo unitario de las viviendas. Ruprah y Marcano (2007) concluyen que de los seis programas evaluados, y asumiendo una calidad constante de las viviendas en todos los programas, el Programa Básico de Vivienda, un programa de cupones e hipotecas de hasta 140 y 80 Unidades de Fomento (UF) respectivamente, era el más caro, y que el menos costoso resultaba ser el Programa Progresivo II, un programa de subsidios de hasta 35 UF para adquirir propiedades con un valor de hasta 70 UF. Dos de los tres problemas de implementación detectados por los investigadores mencionados son 1) que algunas familias beneficiarias podían volver a encontrarse en situaciones de vivienda inadecuadas y 2) se observó una tendencia a la segregación residencial causada por el incremento de precios del suelo urbano. La evaluación encontró que el 12% de las personas que en el 2003 vivían en condiciones inadecuadas de vivienda ya habían sido beneficiarias de programas de vivienda social:se detectó que el Programa de vivienda para trabajadores es el que tiene, en Chile, el menor índice de re-incidencia. De acuerdo con los evaluadores, la principal causa de este fenómeno es el deterioro de las viviendas construidas por los programas sociales y la incapacidad (económica) de las familias para brindarles el mantenimiento necesario. Finalmente, de acuerdo con Sabatini (2001, 2003)1la segregación residencial tiene tres actores. Por un lado el gobierno que compra terreno para construir vivienda social donde la calidad de vida y los ingresos de los residentes ya tienen niveles muy bajos, por otro lado las compañías constructoras que emulan tienden a replicar las condiciones de vivienda que rodean a los proyectos de vivienda social y por último los ‘paracaidistas’ que, para evitar ser expulsados de las tierras que ocupan, tienden a instalarse en terrenos periféricos y de muy bajo valor. Según los evaluadores, las hipótesis de Sabatini encuentran apoyo en los hallazgos de Vargas (2006) quien encuentra que la política de vivienda tiene una correlación positiva con un índice de aislamiento que representa la segregación residencial. Al respecto de los impactos de los programas de vivienda social chilenos, la Meta Evaluación de los programas de vivienda social en Chile de Ruprah y Marcano (2007)

1Citado en Ruprah y Marcano (2007).




Teléfono (664) 631-6300

29

encuentra lo siguiente: Los programas de vivienda Progresivo 1 y Progresivo 2 mostraron un aumento en la calidad de las viviendas con mejorías notables en hacinamiento y conexiones al sistema de drenaje. Respecto a los indicadores de bienestar la evaluación encuentra resultados mixtos con resultados positivos y estadísticamente significativos en tasas de ocupación y término de obra para los programas de Vivienda Básico y de Vivienda Progresivo 1 y 2; resultados negativos en nutrición infantil para el programa de vivienda para trabajadores y resultados positivos en asistencia escolar en Vivienda Progresivo; resultados positivos en reducción de la pobreza en el Programa de Vivienda Básica y efectos de incremento en pobreza asociados con el programa de vivienda rural. De acuerdo con los evaluadores, dos observaciones deben tomarse en cuenta para ponderar los hallazgos de impacto: en primer lugar, se estima que de los nuevos propietarios observados entre 1992 y 2003 (1,039,040) cerca del 85% son propietarios beneficiarios de programas de vivienda públicos, segundo, que los efectos negativos en el bienestar de los beneficiarios de programas sociales de vivienda pueden estar determinados en su mayor parte por el fenómeno de segregación residencial cuyo efecto en la reducción de tasas ocupacionales y la disminución en el aprovechamiento escolar de la población escolar, así como en la incidencia de hogares monoparentales, pobreza y desigualdad de ingresos ha sido ampliamente demostrada. (Ruprah y Marcano, 2007). La Evaluación de Impacto del Programa Piso Firme en Coahuila (Cattaneo, Galiani, Gertler, Martinez y Titiunik, 2007) fue la evaluación coordinada por el Banco Mundial y llevada a cabo por un grupo de expertos al Programa Piso Firme. La evaluación aprovechó la excepcional ‘discontinuidad geográfica’ posibilitada por la implementación temprana del Programa Piso Firme en estado de Coahuila. Centrada en las ciudades gemelas de Torreón y Gómez Palacio, la evaluación aprovechó a separación administrativa (de un lado la ciudad está en el estado de Coahuila y del otro en el estado de Durango) de una ciudad que a grandes razgos puede verse como socio-económicamente homogénea. Además de usar la ciudad como universo, la evaluación redujo la distancia entre los hogares encuestados y la frontera entre los dos estados y usó la información del censo 2010 para seleccionar las Áreas Geo-Estadísticas Básicas (AGEB) más parecidas de uno y otro lado de esa frontera y construir así grupos de control y tratamiento esencialmente equivalentes excepto por la presencia de la intervención del Programa en el lade coahuilense de la ciudad y la ausencia del mismo en el lado duranguense.




Teléfono (664) 631-6300

30

La evaluación encontró mejorías claras en la salud de los integrantes más jóvenes de los hogares que formaron parte del estudio con reducciones importantes en infecciones parasitarias (78% menos que en el grupo de control), diarrea (49% que en el grupo de control) y anemia (81% menos que en el grupo de control). La evaluación también encontró incrementos notables en el desarrollo cognitivo de los niños de esos hogares, siendo éste entre 36% y 96% más alto entre la infancia de los hogares con tratamiento. Finalmente, la evaluación también encentra una serie de mejorías en la calidad de la vida emocional y en la seguridad y confianza de los beneficiarios adultos, lo que lleva a los expertos a concluir que la intervención también mejora la calidad de vida de los adultos reduciendo factores de estrés y mejorando la percepción que éstos tienen del entorno en el que habitan. Aunque no fue parte de la investigación de la evaluación mencionada, la fuerte reducción en infecciones de niños y niás menores de 5 años también reduce los gastos de bolsillo (out of pocket expenditures) en salud. Los hallazgos son relevantes para los programas de calidad y espacios de la vivienda dado que la sustitución de pisos de tierra por pisos de cemento sigue siendo un componente importante de los apoyos otorgados. El estudio‘Does Piped Water Reduce Diarrhea for Children in Rural India?’(2001) explora los impactos del acceso al agua entubada en localidades rurales de la India a través de la identificación de hogares similares con y sin acceso a agua entubada. El estudio se enfoca en la prevalencia de casos de diarrea entre niños y niñas de menos de 5 años. Los autores (Jalan, Jyotsna y Ravallion, Martin) usaron datos de una encuesta de hogares realizada por el Consejo Nacional de Investigación Económica Aplicada de la India en 1993 y 1994 que recaudó información sobre el estatus educativo y de salud de 33,000 hogares rurales de 1,765 localidades de 16 estados indios. Además se recolectó información sobre los ingresos con una encuesta especial para ello para añadir como factor determinante de la salud de los menores de 5 años los ingresos y el máximo grado de estudios de cualquiera de los miembros femeninos de los hogares encuestados. A los datos de las encuestas se les aplicó una regresión logit en la que el resultado binario 1 indicó que el hogar tenía acceso al agua y donde el valor 0 indicó la ausencia del recurso. Como regresores se incluyeron un rango de características de las localidades como infraestructura social y educativa, características demográficas, religión etnicidad y condiciones de la vivienda. La evaluación encuentra que el acceso a agua entubada reduce significativamente la prevalencia de diarrea (en 21%), así como la duración de los casos de la misma (29%). La evaluación encontró también que la prevalencia y la duración de la enfermedad continuaron bajando mientras aumenta el ingreso y la educación del




Teléfono (664) 631-6300

31

hogar. No obstante, una vez que los resultados se estratificaron según el ingreso per cápita los resultados revelaron la falta de mejorías significativas en la salud de los menores entre los dos quintiles más pobres. Los resultados, de hecho, permiten ver que las mejoras significativas en la salud de mejores aparecen a partir del 4to quintil. Por otro lado, al comparar la diferencia entre hogares con acceso al agua entubada en el hogar y hogares con acceso al agua entubada fuera de éste, la evaluación encuentra que la duración de los episodios de diarrea es 40% mayor en los hogares que usan tomas de agua públicas. Las mejoras más significativas por acceso al agua entubada se registraron en los hogares en los que las mujeres eran analfabetas, lo que sugirió, de acuerdo con los evaluadores, que el acceso al agua entubada dentro de la vivienda compensa la falta de conocimiento sobre la purificación y almacenamiento de agua de consumo humano. La evaluación es pertinente para el PDZP ya que ésta mide el impacto de uno de los apoyos entregados por el programa. Resulta especialmente interesante que combine los factores de acceso al agua entubada con variables de nivel educativo y distinga el impacto de cada uno de ellos en la población ya que con ello se contribuye a mejorar la comprensión de los efectos de acciones privadas y acciones públicas en las condiciones de salud de la población en cuestión. Porotrolado, “Indoor Air Pollution, Health and Economic Well-being” (Duflo, Esther; Greenstone, Michael &Rema Hanna. 2008) tuvo por objetivo sondear la literatura contemporánea en torno a la relación entre la contaminación del aire en los interiores de las viviendas, la salud respiratoria y el bienestar económico, así como valorar la evidencia disponible sobre la efectividad de las estrategias más comunes de reducción de contaminantes del aire en interiores de viviendas. De acuerdo con el Reporte Mundial de la Salud 2002 y Bruce 2006, la contaminación del aire en interiores de las viviendas es una de las principales causas de mortalidad infantil. Una parte de los objetivos del estudio fue contribuir a mejorar la calidad del conocimiento y la evidencia que se tenía sobre los efectos de la contaminación ambiental en interiores de viviendas ya que la mayoría de los estudios existentes hasta entonces habían sido observacionales y éstos tendían a confundir los efectos causales de la contaminación del aire en interiores con los efectos de los factores que determinaban la exposición a dicha contaminación. Otro vacío en la evidencia existente que este estudio se propuso llenar es el de los efectos de la contaminación del aire en interiores en el desempeño económico de los hogares con variables como la asistencia escolar de niños y niñas y la productividad de los adultos en el mercado laboral. Una de las deficiencias de los estudios observacionales es que son incapaces




Teléfono (664) 631-6300

32

de diferenciar que los hogares que han mejorado la calidad del aire en interiores lo pueden haber hecho gracias a la mejora de sus ingresos o a la mejora de su conocimiento. Por ejemplo, en Bruce et al (1998) se examina la asociación entre el uso de estufas de madera y otras mejoras de los hogares que pueden tener un impacto en la salud de sus miembros. El estudio citado encontró que el 82% de los hogares que tenían fuegos expuestos también tenían suelos de tierra, mientas que sólo el 16% de los hogares con estufas conectadas a chimeneas tenían este tipo de material en el piso de la vivienda. Los hallazgos de Bruce et al (1998) confirman que se pueden introducir sesgos sustantivos cuando no se cuida la confluencia de factores co-determinantes de variables observadas.

Con la intención de realizar un estudio de gran alcance heurístico la evaluación ‘RESPIRE’, en Guatemala (2007), midió el efecto del uso de ‘planchas’ (estufas de diseño indígena y construidas en acero) conectadas a chimeneas que expulsaban el humo de las viviendas. Se seleccionaron aleatoriamente a mujeres beneficiarias de la instalación de estas planchas con el criterio de que, o bien tuvieran un hijo/a de menos de cuatro meses o bien estuvieran embarazadas al inicio del estudio. Estas mujeres recibieron las ‘planchas’ (o estufas) cuyo costo aproximado fue de entre 64 y 110 dólares cada una. Las mujeres fueron observadas durante tres años o hasta que los hijos tuvieran 18 meses de edad.

Se realizaron mediciones periódicas del estatus de salud de los infantes al mismo tiempo que se examinaron los efectos de la instalación de dichas estufas con exámenes de funcionamiento y capacidad pulmonar así como con valoraciones médicas periódicas. Para medir la exposición al humo de las estufas se examinó el aliento con monitores que miden el monóxido de carbono y se realizaron revisiones de los síntomas respiratorios, de la irrigación de los ojos, de dolores de cabeza y dolores de espalda. El estudio encontró que los niveles de monóxido de carbono se redujeron significativamente entre las mujeres que recibieron las estufas. Después de 16 meses el 52.3% de las mujeres en el grupo de tratamiento reportó mejoras en su salud comparado con un 23.5% en el grupo de control. En el grupo de tratamiento se redujeron los reportes de irritación ocular y dolores de cabeza y garganta, mejorías también observadas en los infantes del grupo de tratamiento.

El estudio reporta que la instalación de estufas mejoradas es la principal herramienta de política pública para la reducción de contaminantes causados por el uso biomasa (carbón, madera o residuos orgánicos) para la preparación de alimentos al interior de las viviendas, sin embargo la evidencia más robusta citada por el estudio en cuestión es la del programa RESPIRE en Guatemala. Los hallazgos de este estudio permiten a




Teléfono (664) 631-6300

33

los autores delinear una historia causal positiva en la que la reducción de contaminantes en el aire al interior de las viviendas tiene efectos directos en la salud respiratoria de los beneficiarios y que a su vez éstos ven reducidos sus gastos de bolsillo en medicina y atención médica e incrementada su productividad en el trabajo así como su asistencia escolar.




Teléfono (664) 631-6300

34

VIABILIDAD Y PERTINENCIA DE UNA EVALUACIÓN DE IMPACTO DELPROGRAMA.

Las evaluaciones de impacto (EI) son instrumentos cognoscitivos que permiten conocer el efecto neto de una intervención en los resultados obtenidos por la misma. Los resultados observados de una intervención están normalmente determinados por más de una variable, siendo el programa en cuestión sólo una de ellas. Por lo tanto, una EI adecuada debe ser un instrumento que permita conocer los efectos de una intervención como si esta intervención actuara de manera aislada sobre los sujetos intervenidos. Lo anterior implica que este tipo de evaluación tiene la doble complejidad de medir algo adecuadamente al mismo tiempo que encuentra, fabrica o simula una situación que permite a los investigadores discernir la diferencia entre dos universos cuya única diferencia sea la presencia y la ausencia de la intervención. Las EI son instrumentos valiosos por sus potenciales contribuciones al conocimiento que los tomadores de decisiones tienen a la mano; éstas responden a cuestiones diversas como el efecto neto del programa en los logros observados, la diferencia en los efectos del programa entre distintos grupos poblacionales, las diferencias en resultados causadas por diferencias en el diseño de los programas y a preguntas sobre la ‘costeabilidad’ de una intervención en comparación con su inexistencia y con otras intervenciones posibles. (Gertler, Paul 2009) Por esta razón las EI permiten tomar decisiones sobre aspectos cruciales de un programa, desde modificaciones al diseño de la intervención hasta decisiones sobre la continuidad, expansión o cancelación de la misma. Las evaluaciones de este tipo normalmente tienen que resolver de forma válida la imposibilidad de asignar el tratamiento de la intervención de manera aleatoria a un subgrupo de una población de las mismas características de tal forma que se generen dos grupos –grupo de tratamiento y grupo de control- comparables en los que la sola diferencia es la presencia o ausencia de la intervención de interés. De acuerdo con Gertler (2009) existen dos tipos de falsos grupos de control, éstos son las comparaciones del mismo individuo (o el mismo grupo de individuos) antes y después de la intervención donde el falso grupo de control es el sujeto antes de la intervención; y las comparaciones entre participantes y no-participantes, donde el grupo de control está compuesto de personas que o bien no fueron seleccionadas para ser parte del programa, o bien no optaron por participar del programa.




Teléfono (664) 631-6300

35

Si se quiere comparar los niveles de autoestima entre un grupo de personas que participó en un programa y otro grupo de personas que no solicitó participar en el programa, se estará comparando grupos cuyas características no son en promedio equivalentes y cuya comparación no permitirá concluir mucho sobre el efecto neto del programa. Por otro lado, si se quiere medir el impacto de un programa de recuperación del tejido social en un barrio popular antes y después de una intervención diseñada para ello, podrán introducirse distorsiones exógenas que impidan una adecuada comparación. Por ejemplo, si la intervención coincide con la apertura de una fábrica que da empleo a personas previamente desocupadas, el efecto del programa en los resultados medidos será imposible de discernir del efecto del empleo.

1. Pertinencia de una evaluación de impacto

Se considera pertinente someter el programa a una evaluación de impacto para conocer la medida en que el programa logra mejorar la infraestructura social básica y el acceso de las viviendas a servicios sociales fundamentales de las localidades en las que realiza sus intervenciones, pero especialmente para poder conocer qué efectos tienen estas mejoras en la calidad de vida de los habitantes y en el desarrollo municipal y/o regional.

2. Viabilidad de una evaluación de impacto

Dadas las condiciones actuales se considera viable someter el programa a una evaluación de impacto sólo si se cumple con condiciones mínimas que podrían ser subsanadas en los dos o tres primeros años de operación del periodo 2013-2018. Entre dichas condiciones está la necesidad de conocer la demanda total de apoyo y las características socio-económicas de quienes solicitan apoyos (ECR 2011). Dichos elementos se consideran esenciales para la construcción de un grupo de control adecuado. Por otro lado es indispensable que antes de llevar a cabo una evaluación de impacto, el programa tenga conocimiento de las causas detrás de las deficiencias detectadas por la evaluación de Monitoreo de Obra Pública del PDL (8.7% de los encuestados indicó que la obra no funcionaba al momento del levantamiento de las encuestas; 115 de los 1074 beneficiarios encuestados afirman que las obras están en mal estado de




Teléfono (664) 631-6300

36

ellos el 23.4% opina que ello implica riesgos importantes para la salud), y que el programa reduzca en la mayor medida posible el cumplimiento diferenciado de sus metas por línea de acción. La diferencia en el cumplimiento de metas dentro de un programa normalmente está en detrimento de la viabilidad y calidad de una evaluación de impacto (CONEVAL, 2010).2

Como se podrá observar en la agenda de evaluación (Anexo 3 de este reporte), el equipo evaluador considera factible llevar a cabo una evaluación de impacto en una muestra analítica pequeña ycaracterística de la PP del PDZP con el objetivo de conocer el impacto atribuible al programa en las variables de interés. Entre las variables evaluadas se considera importante incluir las siguientes: 1) conocer el impacto atribuible al programa en el cambio observado en el Índice de Marginación Absoluto de las localidades atendidas; 2) conocer el impacto del programa como la mejora marginal en la calidad de las viviendas con piso firme, fogones, sanitarios y muros vs calidad de vida de las viviendas en las que sólo se ha instalado el piso firme; 3) conocer los cambios atribuibles al programa en la calidad de vida de las viviendas con piso firme en localidades que cuentan con creación y mejora de infraestructura social básica del programa contra las viviendas con piso firme en localidades que no cuentan con creación y mejora de infraestructura social básica del programa. Con el fin de controlar mejor las características estructurales del grupo de control y de tratamiento, se sugiere un diseño en donde primero sean seleccionados un número determinado de municipios para participar en la EI. Una vez identificados los municipios, la evaluación sería aleatorizada al interior de los mismos con el fin de seleccionar localidad para participar en el tratamiento y el control. El porcentaje de localidades en cada grupo, al interior de los municipios, sería igualmente definido al azhar con el fin de poder tener un mejor control de los efectos de derrame del gasto de los municipios en servicios similiar a los de PDZP. Dada la experiencia de evaluación de impacto del Programa Hábitat, dos años serían suficientes para poder medir los impactos de PDZP.

2Consejo Nacional de Evaluación de la Política de Desarrollo Social. Evaluación Integral del Desempeño de los programas Federales de Infraestructura y Servicios 2010, México, D.F. CONEVAL, 2012




Teléfono (664) 631-6300

37

V. MONITOREO. ANÁLISIS HISTÓRICO DE LA MIR 2007-2012 A cuatro años de haber sido construida la MIR del Programa para el Desarrollo de Zonas Prioritarias (PDZP), luego de su redefinición en 2009, conviene hacer un recuento de su evolución tomando en cuenta los comentarios que sobre ella han emitido evaluadores externos e instancias del gobierno federal facultadas (tales como la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública, el Consejo Nacional de Evaluación de la Política de Desarrollo Social y la Auditoría Superior de la Federación), para analizar su situación actual y proponer o reiterar (en caso de haber sido ya hechas) recomendaciones de mejora. Cabe, sin embargo, hacer una reflexión previa en torno a los requisitos para valorar la adecuación de la MIR y las implicaciones de su proceso de evolución. Ésta será el punto de partida para el análisis que ocupa a esta sección. La MIR de un programa presupuestario debe identificar y definir de forma precisa el problema público que se enfrenta, su magnitud y la población que se busca beneficiar, así como con la selección de la alternativa de solución más viable. Dicho ejercicio es condición para la adecuada elaboración de la MIR. La calidad de la información contenida en ella refleja si la planeación del programa fue adecuada.Sin embargo, la MIR no es una ley. Conforme avance la preparación o ejecución del programa será necesariointroducir cambios. Es la MIR la que debe adaptarse a las necesidades del programa y no lo contrario. Esto lleva a advertir que por sí sola, la MIR no es suficiente para garantizar unaacertada toma de decisiones para la gestión del programa. Debe ser utilizada en conjunto con otrasherramientas y metodologías; de ahí la importancia de complementar con los resultados de evaluaciones del desempeño del programa. En general, se observa que la MIR del PDZP sí ha resultado de un proceso de planeación cuya mejora ha sido incremental y se ha complementado con los resultados de evaluaciones de desempeño externas. Las siguientes líneas describen la medida en que en la evolución de la MIR del PDZP se han tenido en cuenta los supuestos anteriores. Se ofrecen también recomendaciones para solventar aspectos que no han sido destacados en evaluaciones previas, o bien, que aún requieren ser revisados.




Teléfono (664) 631-6300

38

1. Evolución de la MIR según los comentarios de evaluadores externos e instancias de gobierno facultadas3

El análisis aplica para la MIR del PDZP a partir de 2009. El equipo evaluador reconoce los avances logrados en la definición de la relación causal que vincula los objetivos de los niveles de la MIR (lógica vertical de la MIR).4 Los ajustes registrados en los resúmenes narrativos de todos los niveles se corresponden con recomendaciones de instancias gubernamentales autorizadas y evaluadores externos. A continuación se describen brevemente los cambios realizados por nivel: a) En cuanto a Actividades: se considera inadecuada la evaluación de la

definición de Actividades para la MIR del PDZP. En lugar de un proceso de adecuación incremental, se ha transitado en dos extremos. En 2009, la primer MIR estableció actividades para las distintas acciones de gestión del programa. A partir de 2009, éstas fueron reducidas hasta que en 2012, se considera una Actividad: Evaluación y aprobación de proyectos. Este ajuste responde a una sugerencia de la Secretaría de Hacienda y Crédito Público respecto a la irrelevancia de incluir indicadores sobre el ejercicio presupuestal.

b) En cuanto a Componentes: se considera adecuada la evolución de los resúmenes narrativos para este nivel. En 2008, se planteó una enumeración de actividades sin relación explícita con el Propósito. No obstante, se mejoró la redacción de los resúmenes narrativos de modo que al 2012 se han definido dos Componentes que agrupan, respectivamente, los dos tipos de servicios otorgados a través del PDZP: mejoramiento de la vivienda e infraestructura social básica.

3Cabe aclarar que las fuentes consultadas y la información de esta sección están esquematizadas en los Formatos Histórico del Resumen Narrativo del PDZPe Histórico de Indicadores del PDZP(anexos en formato electrónico). 4La lógica vertical de la MIR se refiere a la relación causal que vincula los objetivos expresados en los distintos niveles (Actividades, Componentes, Propósito y Fin), así como a los factores externos que pueden afectar los resultados e impactos esperados con ellos (Supuestos). Es posible afirmar que esta lógica es adecuada cuando los resúmenes narrativos de dichos objetivos permiten responder de forma concreta y suficiente a las siguientes preguntas: ¿Cuál es la finalidad que se persigue con la ejecución del PDZP?¿Qué impacto concreto se espera alcanzar?¿Qué bienes o servicios deben ser producidos?¿Cómo se va a hacer para producir dichos bienes o servicios?¿Qué factores externos pueden comprometer el éxito del PDZP? (ILPES, 2004). En seguimiento a los TdR de esta Meta-evaluación, esta sección se concentra en identificar en qué medida la MIR actual del PDZP permite responder a las cuatro primeras preguntas.




Teléfono (664) 631-6300

39

c) En cuanto a Propósito: se considera adecuada la evolución de los resúmenes

narrativos para este nivel. Es el nivel en el que menos ajustes ha sido necesario realizar. En 2009 se definió un resumen narrativo conciso que, si bien no incluye de forma explícita la definición completa de la población objetivo tal como lo advirtió el evaluador externo en 2010, sí expresa con claridad los resultados directos esperados a través del PDZP.

d) En cuanto a Fin: se considera adecuada la evolución de los resúmenes

narrativos para este nivel en tanto han mejorado. Se reconocen esfuerzos realizados para que los resúmenes narrativos en este nivel logren expresar de forma concisa los impactos que se busca generar mediante el programa para contribuir a la reducción de las desigualdades regionales (aunque como se explica más adelante, esta expectativa amerita ser replanteada).

Por su parte, la evolución de la lógica horizontal de la MIR5 del PDZP ha resultado en una mejor definición de los indicadores de desempeño, especialmente los de resultados, pero aún se identifican áreas de oportunidad. En cuanto a los indicadores de resultados, se presentan problemas en la disponibilidad de información para informar anualmente sobre los avances a nivel de Fin y Propósito, dado que las fuentes de información se constituyen con una frecuencia quinquenal. En consecuencia, no es posible afirmar que son adecuados en su totalidad.6

5 “La lógica horizontal establece cómo se controlará y medirá el logro de cada nivel de objetivos y de

donde se obtendrá la información necesaria para ello. Constituye así la base para el seguimiento, el

control y la evaluación del proyecto (ILPES, 2004).” La constituyen los Indicadores y los Medios de

verificación previstos para cada nivel de objetivos. “Los indicadores son fundamentales para una buena

administración de la ejecución del proyecto y para la evaluación de sus resultados e impactos. (…) [Por su

parte], los medios de verificación corresponden a las fuentes de información que se utilizarán para obtener

los datos necesarios para calcular los indicadores (loc. cit.).” En cumplimiento a los TdR de esta Meta-

evaluación, se analizan los indicadores de los Niveles de Fin y Propósito de la MIR, así como se propone

mejoras en caso de considerarse pertinente. 6 Según la Guía para el diseño de indicadores estratégicos (SHCP-CONEVAL, 2010b), los criterios para

la elección de los mismos son: i) claridad, losindicadores deben sertan directose inequívocos como sea

posible; es decir, entendibles; ii) relevancia,deben proveer información sobre la esencia del objetivo que

se quiere medir; deben estar definidos sobre lo importante, con sentido práctico; iii) economía, todos los

indicadores tienen costos e implicaciones para su construcción y medición; se deben elegir aquellos que

estén disponibles a un costo razonable; iv) monitoreabilidad, los indicadores debenpoder sujetarse a una

comprobación independiente; v) adecuación, provee suficientes bases para medir. Un indicador no

debería ser ni tan indirecto ni tan abstracto que estimar el desempeño se convierta en una tarea complicada

y problemática; vi) aportación marginal, en el caso de que exista más de un indicador para medir el




Teléfono (664) 631-6300

40

a) En cuanto al Fin: en 2008, el primer indicador de este nivelno contaba con

ficha técnica que informase sobre su método de cálculo o los medios para verificarlo, lo cual impidió valorarlo. Su nombre se refería a la reducción de la brecha de acceso a infraestructura social básica en municipios de alta y muy alta marginación, objetivo previsto para el nivel de Propósito. El indicador mejoró significativamente al siguiente año. En 2009, se estableció un indicador que se mantienen vigente e informa sobre la contribución real del programa a la disminución de la brecha de acceso a infraestructura social básica, permite hacer comparaciones longitudinales e informa sobre todas las acciones entregadas a través del programa.

Respecto a él se han sucedido los siguientes comentarios de evaluadores externos e instancias de gobierno facultadas. En 2010, se consideró que el indicador no reflejaba el total de acciones realizadas por el programa (lo cual no es válido puesto que, como ya se dijo, su cálculo incluye información sobre ellas, tanto de mejora de vivienda como de infraestructura social básica) y se sugirió mejorar la definición de las fuentes de información (lo cual, tampoco fue válido puesto que la Ficha Técnica del indicador advirtió que las variables consideradas se obtenían del II Conteo de Población y Vivienda 2005 y el Censo General de Población y Vivienda 2010).

En 2010 y 2011, se sugirió complementar el indicador anterior con uno que informase sobre la contribución del programa al Objetivo 3 del Programa Sectorial de Desarrollo Social 2007-2012 (Lograr un patrón territorial nacional que frene la expansión desordenada de las ciudades, provea suelo apto para el desarrollo urbano y facilite el acceso a servicios y equipamientos en comunidades tanto urbanas como rurales). Sin embargo, este comentario no es pertinente. En segundo lugar, como se señaló en la reflexión al inicio de esta sección, la MIR debe expresar y facilitar el seguimiento y evaluación del Fin último del programa (en este caso, es abonar al abatimiento de desigualdades regionales en el acceso a infraestructura básica de vivienda de calidad). Nótese cómo en la redacción del Objetivo 3 del Programa Sectorial de Desarrollo Social 2007-2012 se incluye a éste como uno de los factores a

desempeño en determinado nivel de objetivo, el indicador debe proveer información adicional en

comparación con los otros indicadores propuestos.




Teléfono (664) 631-6300

41

considerar. En un juego de palabras, el Fin del PDZP contribuye a otro Fin ulterior. Las acciones, proyectos y acciones aprobadas y concluidas en el marco del PDZP abonan al cumplimiento de una parte del Objetivo 3 del PND; apoyan obras y acciones para la superación de rezagos en infraestructura social comunitaria y, consecuentemente, contribuyen a garantizar la sostenibilidad del desarrollo rural local. Este aspecto está explícito tanto en las ROP como en la MIR vigentes. Ahora bien, en el glosario de las ROP vigentes, se define a las Zonas de Atención Prioritaria como “las localidades, municipios, áreas o regiones, tanto de carácter rural como urbano, cuya población registra índices de pobreza, marginación o vulnerabilidad, determinadas conforme a lo dispuesto en la Ley General de Desarrollo Social”. Para clarificar de mejor forma que la contribución del PDZP se da en el ámbito rural local, se sugiere añadir una explicación al respecto. Por último, desde 2010 se advirtió sobre las dificultades que implica la falta de información sobre el valor del indicador dada su frecuencia de medición quinquenal. Este comentario aún es válido y se detalla respecto a él en el siguiente apartado.

b) En cuanto al Propósito: el primer indicador de Propósito se refería a

‘brechas locales’ en el acceso a un listado de acciones de infraestructura social básica sin relación explícita con el objetivo presentado en el resumen narrativo de ese entonces. El indicador mejoró significativamente al año siguiente y no ha vuelto a ser modificado. Éste informa sobre los resultados obtenidos en la población atendida por el programa. En 2010 y 2011, los comentarios de evaluadores externos e instancias gubernamentales facultadas advirtieron que, dada la frecuencia de medición quinquenal del indicador de Propósito actual, se complica disponer de información sobre la contribución del programa en este nivel. Asimismo, sugirieron complementar con indicadores de tipo distinto al de eficacia.

2. Análisis de la situación actual de la MIR y recomendaciones de mejora

2.1. Sobre la lógica vertical de la MIR




Teléfono (664) 631-6300

42

2.1.1. Sobre la vinculación causal entre los niveles de la MIR Según la MIR 2012, los resúmenes narrativos de los distintos niveles de objetivos del PDZP son: Fin: Contribuir a la reducción de las desigualdades regionales a través del

fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las regiones marginadas, rezagadas o en pobreza a los procesos de desarrollo.

Propósito: Territorios objetivo tienen mayor acceso a infraestructura social

básica y cuentan con viviendas mejoradas. Componentes: Proyectos concluidos de mejoramiento de la vivienda y Proyectos

concluidos de infraestructura social básica y servicios Actividades: Evaluación y aprobación de proyectos

Si bien se reconocen avances en la lógica horizontal de la MIR, se han identificado áreas de oportunidad en los niveles de Fin y Actividades. a) En cuanto a las Actividades: al 2012, la única Actividad prevista no refleja

claramente las acciones necesarias para cumplir con el Propósito y Fin previsto previstos para el programa. Es necesario reflejar el desempeño en otras actividades del programa como asesoría técnica brindada a otros órdenes de gobierno y promoción y difusión del programa.

b) En cuanto al Fin: respecto al resumen narrativo del Fin vigente desde 2010, se sugiere redactarlo y cuantificarlo en términos de localidades y no de regiones. Si para focalizar la atención del programa se han identificado rubros de acción de alto impacto en localidades de alta y muy alta marginación (incluso las poblaciones potencial y objetivo han sido definidas en términos de ellas), es ambicioso y contradictorio definir el objetivo de nivel de Fin en términos de regiones. El resumen narrativo no se corresponde con el indicador de desempeño de este nivel, pues éste informa sobre logros obtenidos a nivel local.




Teléfono (664) 631-6300

43

El Diagnóstico sobre el PDZP 2008 ofrece evidencia para justificar la necesidad de priorizar acciones en localidades de alta y muy alta marginación como forma de contribuir a solucionar, en primer lugar, las desigualdades a nivel municipal y, luego, a nivel regional. El Diagnóstico reconoce que no siempre las intervenciones tendrán alcance regional. A nivel municipal es posible "esconder" la marginación local: "hay entidades que no cuentan con municipios de muy alta o alta marginación, pero sí con localidades con ese grado".7 Además, las restricciones presupuestales que el programa enfrenta desde 2009, limitan aún más el alcance de las acciones de mejora de vivienda y/o infraestructura social básica contempladas en el PDZP (EED 2010). Si la definición del objetivo a nivel de Fin en términos regionales responde a conservar la alineación del programa a los objetivos nacionales y sectoriales (recuérdese que éste contribuye al Objetivo 1 del Eje 3 del Plan Nacional de Desarrollo 2007-2012 y al Objetivo 3 del Programa Sectorial de Desarrollo Social 2007-2012), la observación del equipo evaluador se mantiene. La diferencia radica en que la intención de priorizar se expresaría de forma más clara.

Recomendaciones de mejora Se sugiere: Agregar las siguientes Actividades: 'Difusión del programa', 'Seguimiento a desempeño de Instancias Ejecutoras', 'Asesoría técnica a instancias estatales y municipales'. Tales actividades aplican para ambos Componentes. Hacer una modificación mínima al resumen narrativo de los Componentes para mejorar su sintaxis: 'Proyectos de mejoramiento de la vivienda concluidos' y 'Proyectos de infraestructura social básica y servicios concluidos'. Modificar el resumen narrativo del Fin para referirlo a desigualdades locales y no regionales:

7 Refuerza esta observación del equipo evaluador el hecho de que en la definición de las PP y PO, este aspecto sí fue considerado.




Teléfono (664) 631-6300

44

Contribuir a la reducción de las desigualdades intermunicipales a través del fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las localidades marginadas, rezagadas o en pobreza a los procesos de desarrollo.

2.1.2. Sobre la correspondencia de la MIR con las ROP

El PDZP es un programa presupuestario del tipo Sujeto a Reglas de Operación. Las ROP norman la ejecución del programa, de modo que ésta se oriente a los resultados esperados. En este sentido, debe haber correspondencia entre las ROP con los distintos niveles de la MIR. En el caso de la MIR actual, se confirma correspondencia de los resúmenes narrativos en todos los niveles con las ROP vigentes. Recomendaciones de mejora Si bien no se tienen recomendaciones de mejora respecto a la correspondencia entre la MIR y las ROP vigentes, cabe retomar la aclaración hecha en la sección de Descripción del programa. La PP y la PO del PDZP no están definidas en términos de hogares, sino de localidades. Este aspecto está explícito en la documentación oficial al respecto (Nota sobre Población Potencial y Objetivo 2011): “si bien en el caso de mejoramiento de la vivienda es posible cuantificar el número de viviendas apoyadas, en el caso de las obras de infraestructura social básica (OISB), no es claro el número de hogares y personas que son beneficiadas con la obra de carácter comunitario.” Si la recomendación de modificación al resumen narrativo del Fin en términos de localidades es aceptada, debe cuidarse hacer los cambios pertinentes en la redacción de la MIR y las ROP del ejercicio fiscal subsecuente para asegurar la correspondencia entre ellas.

2.2. Sobre la lógica horizontal de la MIR

El evaluador reconoce los esfuerzos del programa en la adecuación de los indicadores de resultados del PDZP. Los cambios registrados en los indicadores de Fin y Propósito se corresponden con recomendaciones de instancias gubernamentales autorizadas y evaluadores externos. Sin embargo, se identifica que la falta de información sobre los avances anuales en el cumplimiento del Propósito se mantiene como área de oportunidad.




Teléfono (664) 631-6300

45

2.2.1. Sobre los indicadores de Fin

Se considera que el indicador de Fin actual cumple con los requisitos técnicos necesarios para informar sobre el cumplimiento logrado en el objetivo previsto a este nivel, incluso, si se toma en cuenta la recomendación de mejora sobre el resumen narrativo del Fin actual. Recomendaciones de mejora Se considera que la adición de otro indicador de Propósito (véase propuesta abajo) podría compensar la falta de información debida a la frecuencia de medición del indicador de Fin actual.

2.2.2. Sobre los indicadores de Propósito

Se mantiene vigente la recomendación sobre la frecuencia de medición del indicador. Hace falta un indicador que informe sobre avances anuales para compensar la ausencia de información en el indicador de Fin actual (de frecuencia de medición quinquenal). Debe considerarse las restricciones operativas y de disponibilidad de información que enfrenta la gestión del PDZP. La PP se caracteriza por estar conformada por localidades rurales de “1) alta dispersión poblacional, 2) baja densidadpoblacional, 3) caminos en mal estado o intransitables, 4) orografía accidentada, 5) falta de vías de acceso a territorios de orografía accidentada e 6) insuficiente nivel deprofesionalización de los gobernantes y funcionarios públicos”. El enfoque territorial en que se basa el PDZP busca, precisamente, responder a la compleja diversidad de necesidades específicas que se enfrentan en dichas localidades. Las acciones y obras realizadas con recursos del PDZP sientan el piso básico para el desarrollo rural de las localidades objetivo. De ahí que la naturaleza del programa recaiga principalmente en facilitar el acceso a infraestructura básica y mejorar las condiciones de la vivienda. Los indicadores de resultados del PDZP, por tanto, deben informar sobre avances al respecto. Para el nivel de Propósito, podría considerarse incluir indicadores agregados que informen sobre la costo-eficiencia de las inversiones realizadas, la cuantificación en el consumo de los servicios básicos provistos (p. ej., el consumo de agua potable y de energía eléctrica), el valor de mercado ganado en las viviendas beneficiadas o el




Teléfono (664) 631-6300

46

número de personas u hogares beneficiados. Sin embargo, dada la diversidad ya descrita, existiría una gran dispersión de datos, lo cual dificulta conformar indicadores de este tipo. Por tanto, no es viable considerarlos para la medición del Propósito del PDZP. Recomendaciones de mejora Derivado de lo anterior, el equipo evaluador sugiere mantener el indicador de Propósito actual. Para el caso del indicador de Fin existe información suficiente para generar un indicador con estimaciones bianuales con base en proyecciones de población. El programa dispone de información para el efecto, como se puede ver en la Nota Técnica para el indicador de brechas municipales promedio en infraestructura social básica. No obstante de ser preferible contar con un indicador anual para el objetivo de nivel Fin se sugiere incluir un indicador que informe anualmente sobre el Porcentaje acumulado de acceso garantizado a servicios básicos en la vivienda en las localidades ZAP y municipios denominados atendidos al ejercicio fiscal de reporte (véase Nota Técnica).




Teléfono (664) 631-6300

47

NOTA TÉCNICA DEL INDICADOR DE PROPÓSITO ADICIONAL PROPUESTO

Indicador DESCRIPCIÓN MÉTODO DE CÁLCULO FRECUENCIA DE MEDICIÓN

FUENTE DE INFORMACIÓN

Porcentaje acumulado de acceso garantizado a servicios básicos en la vivienda en las localidades ZAP y municipios denominados atendidos al ejercicio fiscal de reporte

Porcentaje acumulado de localidades, cuyas viviendas tienen acceso garantizado a piso diferente a tierra, excusado, agua entubada, drenaje y energía eléctrica desde el 2005 al ejercicio fiscal actual

(Localidades cuyas viviendas tienen acceso garantizado a piso diferente a tierra, excusado, agua entubada y energía eléctrica al ejercicio fiscal actual/Localidades ZAP y municipios denominados atendidos por el programa desde 2005 al ejercicio fiscal actual) x100.

Anual Información ya disponible para el cálculo del Índice de acceso a servicios básicos en la vivienda

El indicador propuesto toma en cuenta las salvedades expuestas en la Nota sobre Población Potencial y Objetivo 2011. Se cita para enfatizar el sentido expresado por la Unidad Responsable de la ejecución del PDZP. La PO del PDZP:

1) “Se constituye como un número de localidades que se tiene programado atender durante un ejercicio fiscal determinado, pero no es posible adelantar un listado, puesto que se depende de la demanda de proyectos, en tanto corresponde a los municipios ser los principales ejecutores de las obras de infraestructura social, según lo dispuesto en el artículo 17de la Ley General de Desarrollo. La




Teléfono (664) 631-6300

48

cifra exacta de localidades a beneficiar “sólo puede conocerse al cierre de la Cuenta de la Hacienda Pública del ejercicio correspondiente”.

2) ”No se agrega de manera simple en el tiempo, pues las intervenciones en una misma localidad pueden realizarse en más de un ejercicio fiscal, dependiendo de la demanda de proyectos, las restricciones presupuestales y la integralidad de las acciones que otorga el PDZP. Por ejemplo, la intervención en una localidad puede incluir primero acciones de mejoramiento en la vivienda (en el ejercicio fiscal t) para luego intervenir en la misma localidad con acciones de infraestructura social básica (en el ejercicio fiscal t+1).”

3) “Las posibles comparaciones entre la población atendida y objetivo sólo serán validas para un ejercicio fiscal y la atención a estas localidades queda sujeta a, entre otros factores:a) que las condiciones políticas sean estables para que los actores locales se comprometan a participar con el programa; b) que los compromisos financieros y operativos asumidos por los municipios, los beneficiarios y las dependencias normativas y ejecutoras sean cumplidos;c) el presupuesto autorizado a la plantilla de personal del programa, permita mantener al menos el mismo personal ymantener la presenciaen los territorios objetivo; d) los habitantes de las viviendas beneficiarias están dispuestos a participar en el programa y hacen buen uso de los bienes y servicios proporcionados.”

El indicador ofrece los avances totales acumulados desde 2005, año al que corresponden los datos del Conteo de Población y el Índice de Marginación que sirvieron de base para la cuantificación de la PP y la PO. No se compara respecto a años anteriores, sólo se hace un recuento de los avances acumulados hasta el ejercicio fiscal actual. Se toma en cuenta que se trata de localidades atendidas en función a la demanda de proyectos y la disponibilidad presupuestal.




Teléfono (664) 631-6300

49

CONCLUSIONES

La Meta Evaluación tuvo como objetivo “analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan a los Programas obtener mejores resultados en el periodo 2013-2018”. La Meta Evaluación se estructura en dos apartados. El primero muestra el análisis en torno a la evaluación del programa en el periodo 2007-2012 presentando de manera sintética los principales hallazgos de las evaluaciones realizadas al programa en el periodo de referencia y los hallazgos de las evaluaciones de programas similares en México y en el extranjero. En materia de evaluación el Programa de Desarrollo para Zonas Prioritarias muestra ser un programa que adoptó adecuadamente gran parte de las recomendaciones emitidas por las evaluaciones externas realizadas a los dos programas que le precedieron: el Programa de Desarrollo Local (PDL-Microrregiones) y el Programa de Apoyo a Zonas de Atención Prioritaria (PAZAP). Así las evaluaciones realizadas al PDZP hasta la fecha son las EED 2009-2010 y 2010-2011 y la ECR 2011. La específica de desempeño 2009-2010 muestra que el PDZP capitalizó los hallazgos y recomendaciones hechas a los programas PDL y PAZAP; que el PDZP superó la mayoría de las metas anuales de sus indicadores de MIR; que incluyó una estrategia de cobertura explícitamente definida como tal. Además de las fortalezas mencionadas, la EED 2009-2010 encuentra necesario justificar la priorización presupuestaria del componente de piso firme y mejorar el indicador del objetivo nivel Fin añadiendo el Índice de Marginación Absoluto. La EED 2010-2011 subraya lo señalado por la evaluación inmediatamente previa al encontrar que el PDZP prioriza presupuestalmente el componente de Piso Firme y recomienda reforzar otros rubros/componentes del programa para que el carácter integral del mismo se produzca efectivamente. Además de lo anterior, la EED 2010-2011 encuentra avances en la cobertura y mejorías en la redacción del problema atendido. Se encontraron también logros superiores al 90% de las metas para la mayoría de los indicadores. La ECR 2011, finalmente, encuentra que el programa cuenta con un objetivo compuesto en el que se pretende atender tanto condiciones de vivienda como condiciones de infraestructura de las localidades atendidas; encuentra que si bien existe un listado de obras realizadas por el programa, éste no cuenta como un padrón de beneficiarios, y que si bien el PDZP ha atendido la mayoría de las recomendaciones de evaluaciones previas, éste no ha logrado definir satisfactoriamente los conceptos de Población Objetivo y Población Potencial. La Meta Evaluación encuentra un cuerpo de evidencia robusta que justifica algunas de las acciones más importantes del programa, como lo son la sustitución de pisos de tierra por pisos firmes, la instalación de estufas ecológicas y el mejoramiento de acceso al agua entubada. La evidencia proviene de evaluaciones de impacto experimentales y pseudo-experimentales que encuentran impactos favorables de estos apoyos en variables de interés para el PDZP como lo son la salud de infantes y madres, así como la reducción de gastos en salud y la mejora en




Teléfono (664) 631-6300

50

asistencia escolar. Dichos impactos se observan principalmente debido a las mejoras en la salud de los integrantes más jóvenes de los hogares beneficiarios. Por otro lado, la Meta Evaluación encuentra pertinente pero inviable realizar una evaluación de impacto en las condiciones actuales del programa. Se proponen mejoras a indicadores estratégicos y se encuentran áreas de oportunidad en cuanto a la capacidad del programa para conocer la demanda total de apoyo y la ausencia de un padrón de beneficiarios, mismas que se consideran fundamentales para la planeación e implementación de una evaluación de impacto. En el segundo apartado se presenta el análisis histórico de la MIR del programa y se analiza la evolución de los instrumentos de monitoreo (lógica vertical y horizontal de las matrices de indicadores para resultados), a la par de los comentarios que instancias como CONEVAL, la Secretaría de la Función Pública y la Secretaría de Hacienda y Crédito Público han emitido sobre ellos para así ofrecer un análisis propio del estado actual de la MIR y proponer recomendaciones de mejora. En materia de Monitoreo la Meta Evaluación encuentra que el PDZP muestra avances significativos en la definición de la relación causal gracias a los cambios realizados a la lógica vertical desde 2009. El nivel de Propósito muestra pocos cambios entre 2009 y 2012 dado que desde su primera redacción éste se consideró adecuado salvo por la ausencia de la definición completa de la PO. La Meta Evaluación encuentra que la redacción de los resúmenes narrativos de nivel Fin ha mejorado para expresar de manera clara los impactos con los que busca contribuir a la reducción de las desigualdades regionales.

Por otro lado, La Meta Evaluación encontró algunas mejoras en la lógica horizontal de la MIR, sin embargo resalta que los indicadores no son adecuados en su totalidad pues los indicadores de Propósito y Fin refieren a fuentes de información actualizada quinquenalmente. Se encontró que el indicador de nivel Fin mejoró entre 2008 y 2009 al lograr informar sobre la contribución del programa a la disminución de la brecha de acceso a infraestructura social básica, permitir comparaciones entre distintos periodos de tiempo e informar sobre todas las acciones entregadas a través del programa. En 2010 una serie de comentarios al indicador de Fin incluyó como área de mejoría la frecuencia de medición del mismo. El indicador de Propósito mejoró significativamente de 2008 a 2009 y después de dicha modificación éste no ha sido modificado. En 2010 y 2011 se advirtió que la medición quinquenal de los valores del indicador impedía dar seguimiento adecuado al desempeño del programa, sin embargo se puede observar que la diferencia en las condiciones de cobertura de servicios básicos en viviendas particulares ubicadas en ZAP y no ZAP se ha ido reduciendo al pasar de 30.52% en el año 2000, al 20.82% en el 2005 y al 13.44 en el 2012. Por otro ladoen el año 2000, el Índice de acceso a la infraestructura básica en la vivienda en ZAP tuvo un valor de 60.28%, mismo que llegó al 70.38% en 2005. Al 2012, el Índice de acceso a la infraestructura básica en la vivienda en ZAP tuvo un valor de 78.97%.




Teléfono (664) 631-6300

51

BIBLIOGRAFÍA GENERAL ILPES (2004) Metodología del Marco Lógico. Santiago de Chile. Boletín no. 15. SHCP-CONEVAL (2010a) Guía para el diseño de indicadores estratégicos. México SHCP-CONEVAL (2010b) Guía para la construcción de la Matriz de Indicadores para

Resultados. México Banco Interamericano de Desarrollo (2006) Lograr resultados en vivienda. Marco para hacer

seguimiento a los resultados de proyectos de vivienda usando indicadores cuantitativos. Washington, D. C.

Centro de Investigación y Docencia Económicas (2008) Evaluación de Diseño 2008 del Programa de Apoyo a Zonas de Atención Prioritaria. México

CONEVAL (2008) Comentarios a MIR 2008 del PAZAP. México CONEVAL (2010) Comentarios a MIR 2010 del PDZP. México CONEVAL (2010) Informe de Sesiones de Comité Técnico de Revisión de Indicadores 2010

delPDZP. México Dirección General de Análisis y Prospectiva-SEDESOL (2011) Nota sobre población potencial

y p0blación objetivo. México El Colegio de México (2008) Evaluación de Consistencia y Resultados 2007-08 del Programa

Vivienda Rural. México El Colegio de México (2009) Evaluación Específica de Desempeño 2008-09 del Programa de

Apoyo a Zonas de Atención Prioritaria. México. El Colegio de México (2009) Evaluación Específica de Desempeño 2008-09 del Programa

para el Desarrollo Local. México. El Colegio de México (2010) Evaluación Específica de Desempeño 2009-10 del PDZP. México. El Colegio de México (2011) Evaluación Específica de Desempeño 2010-11 del PDZP. México. El Colegio de México (2012) Evaluación de Consistencia yResultados 2011-2012 del PDZP.

México Gertler, Paul (coord.) (2005) Evaluación de Resultados de Impacto del Programa Piso Firme.

Estado de Coahuila. México ITESM (2007) Evaluación de la Estrategia de Microrregiones. México Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO) (2008)

Evaluación deConsistencia y Resultados 2007-08. México SEDESOL (2007) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2007 del

Programa para el Desarrollo Local México SEDESOL (2007) Matriz de Indicadores para Resultados 2007 del Programa para el

Desarrollo Local. México SEDESOL (2007) Reglas de Operación del Programa para el Desarrollo Local para el ejercicio

fiscal 2007. México




Teléfono (664) 631-6300

52

SEDESOL (2008) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2008 del Programa para el Desarrollo Local México

SEDESOL (2008) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2008 del Programa de Atención a Zonas Prioritarias. México

SEDESOL (2008) Matriz de Indicadores para Resultados 2008 del Programa de Apoyo a Zonas de Atención Prioritaria. México

SEDESOL (2008) Matriz de Indicadores para Resultados 2008 del Programa para el Desarrollo Local. México

SEDESOL (2008) Reglas de Operación del Programa de Apoyo a Zonas de Atención Prioritaria para el ejercicio fiscal 2008. México

SEDESOL (2008) Reglas de Operación del Programa para el Desarrollo Local para el ejercicio fiscal 2008. México

SEDESOL (2009) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2009 del PDZP. México

SEDESOL (2009) Matriz de Indicadores para Resultados 2009 del PDZP. México SEDESOL (2009) Posición Institucional a la Evaluación Específica de Desempeño 2008-09 del

PDZP. México SEDESOL (2009) Posición Institucional a la Evaluación Específica de Desempeño 2008-09 del

Programa para el Desarrollo Local. México. SEDESOL (2009) Reglas de Operación del PDZP para el ejercicio fiscal 2009. México SEDESOL (2010) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2010 del PDZP.

México SEDESOL (2010) Matriz de Indicadores para Resultados 2010 del PDZP. México SEDESOL (2010) Posición Institucional a la Evaluación Específica de Desempeño 2009-10 del

PDZP. México SEDESOL (2010) Reglas de Operación del PDZP para el ejercicio fiscal 2010. México SEDESOL (2011) Análisis de Factibilidad para Evaluación de Impacto al Programa para

Desarrollo de Zonas Prioritarias. México SEDESOL (2011) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2011 del PDZP.

México SEDESOL (2011) Matriz de Indicadores para Resultados 2011 del PDZP. México SEDESOL (2011) Opinión Institucional a la Evaluación Específica de Desempeño 2010-11 del

PDZP. México SEDESOL (2011) Reglas de Operación del PDZP para el ejercicio fiscal 2011. México SEDESOL (2012) Fichas técnicas de indicadores de Fin y Propósito de la MIR 2012 del PDZP.

México SEDESOL (2012) Histórico ASM-PDZP identificados por DGEMPS. México SEDESOL (2012) Matriz de Indicadores para Resultados 2012 del PDZP. México SEDESOL (2012) Posición Institucional a la Evaluación de Consistencia yResultados 2011-

2012 del PDZP. México SEDESOL (2012) Reglas de Operación del PDZP para el ejercicio fiscal 20129. México




Teléfono (664) 631-6300

53

UAM-Azcapotzalco (2009) EvaluaciónEspecífica de Monitoreo de ObraPública 2008-09 ejecutada por los programas Desarrollo Local; 3x1 para Migrantes; Atención a Jornaleros Agrícolas; Ahorro y Subsidio para la Vivienda Tu Casa y Hábitat. México

Unidad de Microrregiones-Dirección General de Análisis y Prospectiva-SEDESOL (2008) Diagnóstico sobre el PDZP. México

Universidad Iberoamericana (2011) Índice Mexicano de Satisfacción del Usuario (IMSU). Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Desarrollo de Zonas Prioritarias – Infraestructura municipal. México

Universidad Iberoamericana (2011) Índice Mexicano de Satisfacción del Usuario (IMSU). Reporte final del IMSU-Programas Sociales Mexicanos. Programa de Desarrollo de Zonas Prioritarias – Piso Firme. México




Teléfono (664) 631-6300

54

ANEXO 1. SÍNTESIS DE EVALUACIONES 2007-2012 Anexo 1. Fichas técnicas de evaluaciones 2007-2012 Programa para el Desarrollo de Zonas Prioritarias (PDZP).

Evaluación Específica de Desempeño 2008 del Programa de Desarrollo Local.

Nombre del Programa: Programa de Desarrollo Local (PDL)

Año de evaluación: 2008

Nombre de la Evaluación: Evaluación Específica de Desempeño 2008 del Programa de

Desarrollo Local.

Tipo de la Evaluación: EED

Objetivos de la Evaluación: Analizar y presentar de manera sintética la evolución del

presupuesto del programa, los logros de los principales indicadores y la cobertura del

programa.

Metodología utilizada: Investigación de gabinete

Valoración técnica: Adecuada

Principales Resultados:

El diagnóstico del problema, las definiciones y cálculos de la población potencial, el

seguimiento institucionalizado de los documentos de aspectos susceptibles de mejora son

adecuados. Al mismo tiempo, los indicadores estratégicos y de gestion son pertinentes y

confiables.




Teléfono (664) 631-6300

55

Sin embargo, la evaluación encuentra inadecuada la definición y el cálculo de la población

objetivo, restringida a centros estratégicos comunitarios.

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y

Recomendaciones: ( máximo 1,500 caracteres)

1) Fortalezas y/u Oportunidades:

2) Debilidades y amenazas:

La mayoría de los indicadores de gestión son irrelevantes, dado que miden el avance con

respecto a metas sectoriales y no al programa mismo.

3) Recomendaciones:

La evaluación recomendó llevar a cabo una evaluación externa para documentar resultados

que permitan conocer el efecto del programa entre la población atendida.




Teléfono (664) 631-6300

56

Evaluación Específica de Desempeño 2008 del Programa de Atención a Zonas de Atención Prioritaria PAZAP

Nombre del Programa: Programa de Desarrollo de Zonas Prioritarias (PDZP)


Nombre de la Evaluación: Evaluación Específica de Desempeño 2008 del Programa de

Atención a Zonas de Atención Prioritaria (PAZAP)


Objetivos de la Evaluación:Analizar y presentar de manera sintética la evolución del


programa.

Metodología utilizada: Investigación de gabinete


Principales Resultados: Debido a la redefinición del Programa de Desarrollo Local (PDL) al

PAZAP, a su reciente creación y a la falta de aspectos susceptibles de mejora, la EED 2008 del

PAZAP enfocó sus observaciones a la MIR, a la definición de PP y PO, a la cobertura y

planeación del Programa y a la posible duplicidad con el PDL, destacando las siguientes:

La MIR presenta una lógica vertical adecuada; sin embargo, destaca que la mayoría de los

indicadores de la lógica horizontal tienen poca relevancia.




Teléfono (664) 631-6300

57

Las definiciones de PP y PO presentan diversas áreas de mejoría y existe una incongruencia

entre la definición de PO, que alude a “personas que habitan en localidades” y la de PP, que

refiere a localidades.

La evaluación encuentra que el programa no especifica el periodo de referencia para calcular

su cobertura y que existe duplicidad de esfuerzos entre el PAZAP y PDL.





Se señalan como debilidades la incongruencia entre definiciones de PP y PO y la dificultad

para cuantificar adecuadamente la PP, derivada de su definición.

Existe la amenaza de duplicación de esfuerzos entre el PDL y el PAZAP.

3) Recomendaciones:

La evaluación recomendó establecer una planeación sobre la forma de atender a la población

objetivo.




Teléfono (664) 631-6300

58

Evaluación Específica de Desempeño 2009-2010 del PDZP


Año de evaluación: 2009-2010

Nombre de la Evaluación: Evaluación Específica de Desempeño 2009-2010


Objetivos de la Evaluación: Analizar y presentar de manera sintética la evolución del


programa.

Metodología utilizada: Investigación de gabinete.


Principales Resultados: El programa superó en su mayor parte las metas anuales para

indicadores MIR y contó con diagnóstico en el que se justifican los componentes del programa

gracias a su notable contribución en el abatimiento de las desigualdades regionales.

Asimismo, destaca que las recomendaciones hechas al PAZAP y AL PDL estaban siendo

tomadas en cuenta para la mejora del programa fusionado PDZP.




Teléfono (664) 631-6300

59




Las ROP 2010 contienen una definición explícita para la estrategia de cobertura, que estuvo

ausente en los programas que dieron origen al PDZP.


Es una debilidad la ausencia de una definición precisa de PP y PO en el 2009.

3) Recomendaciones:

Se recomendó justificar la priorización en la asignación de recursos otorgados a diversos

rubros del Programa, en particular a piso firme y relacionar el indicador de Fin con el Índice

de Marginación Absoluto para tener un indicador más completo para el resumen narrativo del

nivel.




Teléfono (664) 631-6300

60

Evaluación Específica de Desempeño 2010-2011 del PDZP


Año de evaluación: 2010-2011

Nombre de la Evaluación: Evaluación Específica de Desempeño 2010-2011


Objetivos de la Evaluación:

Metodología utilizada:

Valoración técnica:

Principales Resultados: Se reportan avances superiores al 90% en la gran mayoría de los

indicadores y se cumplieron o rebasaron metas a pesar de las reduccciones presupuestarias.

Se reporta un avance en la cobertura y avances favorables para el componente de piso firme,

que supera su emta en un 4%.








Teléfono (664) 631-6300

61

Debido a la falta de compatibilidad entre las definiciones de poblaciones PP y PO del año de

referencia y los años previos, no se pudo comparar la cobertura con ejercicios pasados.

3) Recomendaciones:

Reforzar rubros o componentes para producir resultados esperados.




Teléfono (664) 631-6300

62

Evaluación Específica de Monitoreo de Obra Pública del PDL


Año de evaluación:

Nombre de la Evaluación: Evaluación Específica de Monitoreo de Obra Pública del PDL

Tipo de la Evaluación: Evaluación Monitoreo de Obra Pública

Objetivos de la Evaluación: Dar seguimiento al estado de las obras entregadas y su

funcionamiento.

Metodología utilizada: Marco muestral de obras en 297 municipios de 29 entidades.

Levantamiento de encuestas.

Valoración técnica: La evaluación tiene una limitada representatividad de los resultados respecto a la diversidad de acciones de los programas evaluados (los apoyos para construcción de obra pública son una de las líneas de acción de los cinco programas evaluados) y por lo tanto es imposible generalizar, a partir de esta evaluación, sobre la gestión y el desempeño de los programas con base en esta evaluación solamente. Por otro lado, la representatividad nacional de los resultados de evaluación sólo es posible en la información referente a la revisión de expedientes técnicos, la verificación directa y las preguntas más generales de operación, mientras que los resultados por tipo de obra no reflejan el comportamiento del universo. Adecuada


En general los resultados son positivos, ya que se logró documentar la existencia del 99% de

las obras de la muestra y se encontró que de éstas 89.1% se encontraba en funciones. Sin

embargo, también se encontró que tres obras de las que mostraban metas alcanzadas y actas




Teléfono (664) 631-6300

63

de entrega-recepción, no fueron encontradas.




La gran cantidad de información, recogida mediante encuestas, sobre obras entregadas.


Necesidad de dar mantenimiento a las obras construidas en 2002 y 2003, que suman 38.2%

de las obras construidas. Asimismo, es necesario tomar en cuenta los porcentajes de obras

que no funcionaban al momento del levantamiento de la encuesta y aquellas que, siendo

funcionales, estaban en mal estado por desgaste o mala calidad de materiales de construcción,

incluyendo aquellas que los beneficiarios consideran riesgosas para la salud.

3) Recomendaciones:

Analizar el motivo por el cual sólo el 79% de las obras hidráulicas funciona.

Implementar medios de verificación de llenados de expedientes y destino final de recursos.

Estandarizar calidad de obra.

Generar catálogo de acciones de mantenimiento preventivo.

Promover la apropiación comunitaria participativa de las obras para asegurar en mayor

medida su aceptación y cuidado.

Revisar obras recientes y verificar la solución efectiva de problemas en la integración de

expedientes.




Teléfono (664) 631-6300

64

Evaluación de Diseño 2008 del PDZP



Nombre de la Evaluación: Evaluación de Diseño 2008

Tipo de la Evaluación: Evaluación de Diseño

Objetivos de la Evaluación: Valorar el grado en el que los distintos componentes del diseño del

programa permiten que éste genere los resultados esperados.

Metodología utilizada: Análisis de componentes.



El diseño del programa es adecuado para que los paquetes básicos de apoyo del programa

tengan una incidencia efectiva y positiva en la calidad de vida de lso habitantes de las

localidades y los municipios de alta y muy alta marginación.




El programa focaliza territorios marginados y contribuye a garantizar un gasto social




Teléfono (664) 631-6300

65

progresivo que vaforece la reversión del desarrollo “desequilibrado” a mediano plazo.

Entrega bienes públicos y privados, y promueve “sinergias y externalidades positivas” en

beneficio de la calidad de vida y mejoramiento del capital humano de los habitantes en las

localidades atendidas.

El enfoque territorial promueve sinergias y complementariedades con Microrregiones y

Estrategia 100x100.


Existe ambigüedad en la definición de PO y en la estrategia de cobertura, y algunas instancias

del programa presentan confusión entre la población objetivo y la población atendida.

3) Recomendaciones:

Definir “en un documento público los principios y criterios centrales de la estrategia de

cobertura y producir una lista clara de territorios ‘meta’ y ‘atendidos’ para cada año

presupuestal, en función de los recursos disponibles”. (ED, 2008, PAZAP)

La evaluación propone acompañar el incremento en tipos de obras desarrolladas por el

programa con estrategias participativas que promuevan la apropiación, cuidado y uso

adecuado de las obras del programa.




Teléfono (664) 631-6300

66

Evaluación de Consistencia y Resultados 2007 del Programa para el Desarrollo Local (PDL).

Nombre del Programa: Programa para el Desarrollo Local (PDL)


Nombre de la Evaluación: Evaluación de Consistencia y Resultados del PDL 2007

Tipo de la Evaluación: ECR


Metodología utilizada:



El PDL integó exitosamente el esquema territorial en la política de desarrollo social. El

enfoque territorial mejora la pertinencia social y económica, el respeto a la diversidad

cultural de las regiones y la congruencia con el Plan Nacional de Desarrollo de los

programas sociales que la adoptan.

Sin embargo, la evaluación encuentra que el programa puede mejorar

conceptualizando mejor, documentando mejor y operando mejor algunos de los temas

expuestos a continuación:




Teléfono (664) 631-6300

67




El enfoque territorial es una fortaleza, pues mejora la pertinencia social y económica, y el

respeto a la diversidad cultural de las regiones y la congruencia con el PND.

Existe la oportunidad de redefinir las poblaciones potencial y objetivo con criterios

territoriales que faciliten y brinden coherencia a la aplicación de recursos y la medición de los

resultados del programa. Esta redefinición permitiría crear un padrón de beneficiarios

adecuado a las necesidades del programa.


No existen planes estratégicos y planes operativos anuales que detallen a corto, mediano y

largo plazo las metas y los recursos, responsables y medios indispensables para lograrlas.

El programa no cuenta con instrumentos ni metodologías sobre satisfacción de beneficiarios;

ni con indicadores que generen resultados con técnicas cuantitativas y cualitativas.

3) Recomendaciones:

Mejorar conceptualización y documentación.

Sobre diseño, la evaluación sugiere “precisar y explicitar el problema concreto que da origen

al programa, integrar un diagnóstico general y actualizar la problemática ydentificada.

También se sugiere dimensionar y diferenciar más claramente la población potencial de la

población objetivo, seleccionar las variables de los índices de marginación, rezago y desarrollo

humano que constituirán la base de medición de los indicadores Fin y Propósito”.

Dedicar sus esfuerzos hacia el “desarrollo y consolidación de la infraestructura social básica,

de servicios y productiva, que posibilite el desarrollo local”.




Teléfono (664) 631-6300

68

También se recomienda la generación y manejo de información para que el monitoreo

permita tomar decisiones acertadas oportunamente.




Teléfono (664) 631-6300

69

Evaluación de Consistencia y Resultados 2011 del PDZP



Nombre de la Evaluación: Evaluación de Consistencia y Resultados 2011

Tipo de la Evaluación: ECR

Objetivos de la Evaluación: Analizar el diseño, la planeación y orientación a resultados,

la cobertura y focalización, la operación, la satisfacción de la población beneficiada y la

medición de resultados del programa.

Metodología utilizada: Investigación de gabinete.



Existen problemas en la definición de los ámbitos de acción, incompatibilidad entre ROP y

Nota de Población 2011.

Existe una adecuada alineación entre objetivos del programa, metas sectoriales, nacionales y

del milenio.

Aun cuando el programa ha dado seguimiento a la gran mayoría de los ASM resultados de

evaluaciones anteriores, esto no ha logrado atender satisfactioriamente las observaciones

sobre la necesidad de definir mejor los conceptos de PP y PO.




Teléfono (664) 631-6300

70




Los indicadores de la MIR presentan los requisitos necesarios y el programa cuenta con una

estrategia para conocer la satisfacción de sus beneficiarios, con escalas de valor adecuadas.


Se detectó un listado de obras realizadas que no califica como padrón de beneficiarios, al no

cumplir con las características mínimas establecidas en los Lineamientos Normativos para la

Interacion del Padrón de Beneficiarios de la Sedesol.

Aun cuando la evaluación sistematiza su información, no cuenta con los mecanismos para

conocer la demanda total de apoyo o las características socioeconómicas de los solicitantes. Al

mismo tiempo, el programa no cuenta con medios para verificar procesos clave de operación.

El programa no cuenta con una estrategia documentada para atender a la PO porque no

cuenta con mecanismos para identificarla.

El Plan Estratégico no incluye indicadores para conocer el avance anual de las metas y no

contempla el mediano plazo.




Teléfono (664) 631-6300

71

Evaluación de impacto de la Estrategia Microrregiones 2007

Nombre del Programa: Estrategia Microrregiones


Nombre de la Evaluación: Evaluación de la Estrategia Microrregiones, Reporte de impacto

Tipo de la Evaluación: Evaluación de impacto

Objetivos de la Evaluación: Estimar el impacto atribuible a la Estrategia Microrregiones (EM)

en el cambio observable en el Índice de Marginación Absoluta.

Metodología utilizada: La metodología de la evaluación es cuasi-experimental. Se estima el impacto de la EM con la técnica de regresión discontinua y la comparación entre grupos de control y tratamiento con información censal y de conteos de vivienda 2000 y 2005, respectivamente con tres muestras de distintos tamaños que permiten balancear unos resultados con otros. Valoración técnica: La regresión discontinua es una técnica estadística ampliamente utilizada en la estimación de los efectos de tratamiento en programas sociales y se considera una elección adecuada para la evaluación de la EM. Se considera que se valoraron adecuadamente los ‘trade-offs’ o sacrificios entre poder estadístico y comparabilidad entre grupos de tratamiento y control. La evaluación tiene un diseño adecuado que le permite identificar exitosamente cambios pequeños en el valor de las variables de impacto el impacto de la EM incluso cuando entre 2000 y 2005 la totalidad de las variables observadas presentaron reducciones. Principales Resultados A nivel municipal la evaluación encuentra que la combinación de los resultados de las tres muestras sugieren la posibilidad de un impacto de la EM. Sin embargo los resultados arrojan que éste sería demasiado pequeño como para ser observado. En términos de los impactos de los componentes específicos resalta que seis de los siete componentes observados registran, o




Teléfono (664) 631-6300

72

bien desplazamientos positivos (indicando que la reducción de la marginación en los municipios de la EM no fue mayor a la reducción de la marginación en municipios que no están en la EM), o bien falta de significancia estadística. El único componente de la estrategia que parece tener un impacto estadísticamente significativo atribuible a la EM es el número de viviendas sin agua entubada. En este componente la evaluación encontró una reducción estadísticamente significativa de 3.86 puntos porcentuales. Sin embargo existe evidencia que sugiere que la reducción observada en este componente está relacionada con un efecto municipal agregado del estado de Oaxaca y su elevado número de municipios. La evaluación encontró que las regresiones en las que se omiten los resultados de dicho estado la magnitud del impacto disminuye sustancialmente. A nivel localidad la evaluación sugiere un impacto en el sentido esperado (negativo) en 7 de los 8 componentes evaluados al registrar, entre 2000 y 2005 una reducción de -5.63 para el grupo de control y de -6.04 para el grupo de tratamiento. Sin embargo, en cuanto a resultados de accesibilidad a obras y servicios la evaluación reporta que “no existe un efecto neto agregado para las localidades del grupo de control frente al de tratamiento”. Finalmente, la evaluación encontró que la EM no ha logrado mejorar la diversificación de las actividades económicas de los habitantes. De acuerdo con los hallazgos de la evaluación, la EM no encontró diferencias significativas en las variables de tasas de empleo, niveles salariales y predominio de actividades agrícolas.



Fortalezas:

1. La estrategia (EM) logra un diseño cuasi experimental apropiado para medir el

impacto atribuible a la Estrategia Microrregiones.

2. La Estrategia de Microrregiones tiene un impacto sobre la reducción del porcentaje de

viviendas con piso de tierra a nivel municipal, en el orden de 2.87 puntos porcentuales




Teléfono (664) 631-6300

73

menos en promedio de lo que se hubiera esperado en ausencia de su intervención.

3. Si bien la evaluación no estuvo diseñada para arrojar resultados a nivel estado, los

hallazgos permiten sugerir que, al menos para el estado de Oaxaca, la EM logra reducir

significativamente el número de viviendas sin acceso al agua.

Debilidades:

1. La evaluación encuentra evidencia que sugiere la existencia de un impacto en el

sentido deseado a nivel municipal, sin embargo éste es demasiado pequeño como para

ser estadísticamente significante.

2. Seis de los siete componentes del Índice de Marginación Absoluta no logran impactos

deseados en la evaluación. Sólo uno (número de pisos de tierra) reporta un impacto

negativo (deseado) estadísticamente significativo a nivel nacional.

Recomendaciones:

1. La evaluación sugirió la necesidad de medir el impacto de una estrategia como EM

permitiendo más tiempo de operación de la estrategia de tal suerte que los cambios

observados en el impacto sean mayores.




Teléfono (664) 631-6300

74

Evaluación de impacto

Nombre del Programa: Piso Firme


Nombre de la Evaluación: Evaluación de Resultados de Impacto del Programa Piso Firme

Estado de Coahuila

Tipo de la Evaluación: Evaluación de impacto

Objetivos de la Evaluación: Conocer el impacto atribuible al programa Piso Firme en las variables de efectividad de sustitución de pisos de tierra, salud (episodios de diarrea, anemia y parásitos) y satisfacción y calidad de vida de los habitantes beneficiarios. Metodología utilizada: Analisis cuantitativo, pseudo-experimental con base en la discontinuidad administrativa del área geográfica urbana intervenida; contrafactuales elegídos vía matching de áreas geoestadísticas básicas (AGEB) y de manzanas dentro de AGEBs. Valoración técnica: La evaluación aprovecha muy adecuadamente un contexto de implementación extraordinario en el que la división administrativa de una ciudad entre dos estados de la república facilita la comparación entre hogares beneficiados y hogares no beneficiados cuya probabilidad de ser elegidos por el programa (suponiendo éstos hogares estuvieran en Coahuila y no en Durango) era muy cercana a a la de los hogares beneficiados. El emparejamiento de viviendas (matching) en el grupo de control con las del grupo de tratamiento respondió a variables de incidencia de pisos de tierra por manzana en el año 2000, número de menores de 6 años por hogar, y un índice socioeconómico de año base 2000. Se considera positivo el que la evaluación haya seleccionado primero las Áreas Geoestadísticas Básicas más parecidas de uno y otro lado de la frontera entre ambos estados y después las manzanas. Las variables que la




Teléfono (664) 631-6300

75

evaluación busca informar son pertinentes y

Principales Resultados Efectividad: La evaluación contró que “la proporción de ambientes con pisos de cemento en las viviendas del área de control es alrededor de 82%, mientras se estima que de haber recibido el programa la proporción de ambientes con piso de cemento en dichas viviendas hubiera sido 100%.” Se encontraron resultados positivos para el resto de las variables de efectividad (número de viviendas con piso firme en todos los ambientes, con piso firme en la cocina y con piso firme en todos los dormitorios). Satisfacción: La evaluación encuentra que los habitantes de las áreas de tratamiento se encontraron mucho más satisfechas que sus contrapartes del grupo de control. La evaluación encuentra que de haber recibido el tratamiento, los hogares hubieran estado más satisfechos con la calidad de sus viviendas en general y con la protección que ofrecen sus viviendas contra el agua. Además, en presencia del programa estos hogares hubieran estado más satisfechos con la calidad de sus vidas y con los cambios ocurridos en sus viviendas desde el año 2000. Salud: La evaluación reportó que el programa logra incidir positivamente en la salud de los niños y niñas de los hogares tratados al encontrar una reducción importante en casos de diarrea, anemia y parásitos. La evaluación también reporta que Piso Firme tuvo un impacto positivo en el desarrollo cognitivo al encontrar que la media del grupo de tratamiento fue 7% superior a la media del grupo de control una vez aplicada la prueba de desarrollo cognitivo ‘Peabody’. Finalmente, la evaluación también encontró impactos del programa en las mejoras del ánimo y la reducción del estrés de las madres. Ingreso: la evaluación encontró que el programa no tuvo impactos en las variables de ingreso laboral, patrones de migración y número de dependientes económicos por hogar, mientras que el programa sí tuvo un impacto positivo en la asistencia escolar de los niños beneficiarios del programa.




Teléfono (664) 631-6300

76

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 1,500 caracteres) Fortalezas:

1. El programa tiene una alta efectividad en la instalación de pisos firmes. 2. Las estimaciones del impacto del programa para el grupo de tratamiento son

favorables en las variables de salud, calidad de vida y satisfacción de los beneficiarios, así como en la asistencia escolar de los niños y las niñas de entre 6 y 17 años.

Oportunidad: 1. Las mejoras observadas entre la población beneficiaria, especialmente entre los niños

y las niñas de entre 0 y 6 años de edad, tienen resultados importantes en la disminución de gastos de bolsillo en salud y potencialmente en la disminución de gastos catastróficos de los hogares en salud.

2. Los impactos del programa en salud y asistencia escolar suman a los resultados de componentes de salud y educación de Oportunidades y Seguro Popular.

Debilidad: (no se reportan debilidades) Amenaza:

1. La evaluación encontró que el programa no logra mejorar los ingresos de los hogares beneficiarios, no logra cambiar patrones migratorios y no logra reducir la incidencia de enfermedades que no están directamente relacionadas con la reducción del contacto de niños y niñas con parásitos y pisos de tierra.

Recomendaciones: La recomendación implícita en la evaluación es complementar el programa de Piso Firme con programas mejor equipados para tener impactos en las variables que Piso Firme no logra mejorar (ingreso y enfermedades respiratorias, por ejemplo).




Teléfono (664) 631-6300

77




Teléfono (664) 631-6300

78

ANEXO 2. SÍNTESIS DE EVALUACIONES DE PROGRAMAS SIMILARES NACIONALES O INTERNACIONALES

Nombre del Programa similar: Primera Evaluación del Plan de Acción Regional para los

Asentamientos Humanos, Simioni y Szalachman 2007.

Señalar características similares o tipos de apoyo que entrega considerados como

similares.

País Programa Apoyo

Argentina Programa Federal

de Mejoramiento de

Vivienda “Mejor

Vivir”

Atiende barrios consolidados.

Argentina Programa Rosario

Hábitat

Intenta transformar asentamientos y reforzar

redes físicas y sociales para prevenir la

desaparición y el desgaste de los servicios y de

los mecanismos de colaboración entre pares que

nutre la integración social.

Bolivia Programa de

financiamiento de

vivienda

Entrega de subsidios parciales del valor de las

cuotas iniciales de construcción o compra.

Chile Fondo Solitario de

Vivienda de Chile

Entrega nuevos conjuntos de vivienda a través

de adquisiciones de vivienda existente y




Teléfono (664) 631-6300

79

construcción de nuevos terrenos, otorgando

subsidios del 70% para construcción y del 30%

para compra y urbanización de terrenos.

Paraguay Programa

Redescuentos de

Créditos

Hipotecarios

Entrega créditos hipotecarios y descuentos de la

hipoteca para viviendas de entre 60 y 90 m2.

República

Dominicana

Subsidio

Habitacional

Entrega subsidios a través de, el Bono

Monetizado y el Bono de Tierra.


Nombre de la Evaluación: Primera Evaluación del Plan de Acción Regional para los

Asentamientos Humanos.

Tipo de la Evaluación: Desempeño, resultados y gestión.

Objetivos de la Evaluación: incorporar lo aprendido a través de distintas experiencias

nacionales al Programa regional de vivienda social y asentamientos humanos.

Metodología utilizada: Se llevo a cabo mediante cuestionarios aplicados en Argentina,

Bolivia, Chile, Costa Rica, El Salvador, Guatemala, Honduras, México, Panamá, Paraguay,

Perú y República Dominicana. Las experiencias nacionales que sirven de ejemplos al

informe de CEPAL (2005), fueron enviadas por los países participantes, y compiladas

centralmente por MINURVI.

Valoración técnica: Adecuada dado el objetivo de “recopilar experiencias” en distintos

países. Sin embargo no se tuvo acceso a los cuestionarios que se enviaron a los países y no

se puede valorar adecuadamente.




Teléfono (664) 631-6300

80

Principales Resultados: La evaluación encuentra que estas intervenciones no

contemplan componentes de fortalecimiento de los instrumentos de planeación y gestión

de los municipios y los operadores de los programas, como tampoco incluían componentes

de actualización del sistema catastral y de los sistemas de información sobre el mercado

de la tierra.

También se encuentra una brecha entre la gran mayoría de las estrategias nacionales que

están enfocadas a la promoción a la producción y compra de vivienda nueva y la necesidad

más apremiante de la región que, de acuerdo con los evaluadores, es la baja calidad de las

viviendas existentes.

Se observa también que en la mayoría de los países que participaron en la evaluación, el

alto valor del suelo ‘empuja’ a los proyectos y programas de vivienda social a zonas

alejadas y excluidas que minimizan las posibilidades de que los avances en materia de

vivienda estén acompañados de incrementos en el bienestar y la inclusión social, y que por

el contrario sientan las bases para facilitar la perpetuación de la pobreza.

Simoni y Szalachman explican que los programas que logran evitar la separación y

exclusión geográfica de los beneficiarios de los programas de vivienda social son aquellos

que utilizan el suelo y las edificaciones existentes en las zonas urbanas que o bien ya

cuentan con infraestructura de servicios básicos o bien sólo deben ser incluidas en los

planes de ampliación de los servicios.

De acuerdo con el equipo evaluador se puede observar cierta regresividad en casi toda la

región, sin embargo, al mismo tiempo que señala un sesgo regresivo en los programas de

vivienda de la región, el equipo también señala riesgos latentes en los programas que

focalizan exitosamente a la población pobre ya que éstos tienden a crear ambientes sin




Teléfono (664) 631-6300

81

heterogeneidad social y sin posibilidades de contacto entre personas de diversas clases

sociales y niveles educativos.


Recomendaciones: La evaluación no presenta un apartado de Análisis de Fortalezas,

Oportunidades, Debilidades, Amenazas y Recomendaciones.

Observaciones generales: La evaluación se considera que las intervenciones que tienen

impactos destacables en el bienestar de la población beneficiaria son aquellas que de

manera simultánea abordan las problemáticas desde muchos frentes. Los programas que

combinan acciones a acceso al suelo y regularización de propiedades junto con acceso a

educación e infraestructura social como espacios públicos recreativos y educativos

adecuados son los que tienen mejores resultados en desarrollo de capacidades y acceso a

programas y financiamientos posteriores.

Disponibilidad en

internet:http://www.eclac.org/publicaciones/xml/9/29459/LCL2743-P.pdf

Nombre del Programa similar: Meta Evaluación de los programas de vivienda social en

Chile, Ruprah y Marcano 2007.


similares.

http://www.eclac.org/publicaciones/xml/9/29459/LCL2743-P.pdf




Teléfono (664) 631-6300

82

Programa Apoyo

*Programa Básico de Vivienda Entrega de cupones e hipotecas de hasta 140 y 80

Unidades de Fomento (UF).

**Programa Progresivo II Otorgamiento de subsidios de hasta 35 UF para

adquirir propiedades de hasta 70 UF.

*de 6 programas evaluados, resulto ser el más costoso

**de 6 programas evaluados, resulto ser el menos costoso


Nombre de la Evaluación: Meta Evaluación de los programas de vivienda social en Chile.

Tipo de la Evaluación: Impacto y Resultados


Metodología utilizada: No se menciona.

Valoración técnica: En mi opinión es suficiente considerando que se evaluó un universo

de 6 programas y pudieron arrojarse datos precisos con base en comparación de

resultados.

Principales Resultados: La evaluación encuentra que el 12% de las personas que en el

2003 vivían en condiciones inadecuadas de vivienda ya habían sido beneficiarias de

programas de vivienda social. El Programa de vivienda para trabajadores es el que tiene,

en Chile, el menor índice de re-incidencia. De acuerdo con los evaluadores, la principal

causa de este fenómeno es el deterioro de las viviendas construidas por los programas

sociales y la incapacidad de las familias para bridarles el mantenimiento necesario.

Ruprah y Marcano concluyen que la capacidad de pago de los clientes de las hipotecas es la

principal causa del incumplimiento de obligaciones crediticias y que por lo tanto el origen

del préstamo hipotecario (sea este público o privado) no influye en el comportamiento de

los beneficiarios que incumplen.




Teléfono (664) 631-6300

83

Observan también que las hipótesis de Sabatini (2001, 2003) encuentran apoyo en los

hallazgos de Vargas (2006) quien encuentra que la política de vivienda tiene una

correlación positiva con un índice de aislamiento que representa la segregación

residencial.

La Meta Evaluación de los programas de vivienda social en Chile, encuentra lo siguiente:

Los programas de vivienda Progresivo 1 y Progresivo 2 mostraron un aumento en el

hacinamiento de las viviendas, pero el indicador compuesto de calidad de las viviendas

muestra un efecto positivo para todos los programas. Con excepción de los programas

mencionados anteriormente, los resultados del índice compuesto de calidad de la vivienda

son el producto de mejorías notables en hacinamiento y conexiones al sistema de drenaje.

Respecto a los indicadores de bienestar, la evaluación encuentra resultados mixtos con

resultados positivos y estadísticamente significativos en tasas de ocupación y término de

obra para los programas de Vivienda Básico y de Vivienda Progresivo 1 y 2; resultados

negativos en nutrición infantil para el programa de vivienda para trabajadores y

resultados positivos en asistencia escolar en Vivienda Progresivo; resultados positivos en

reducción de la pobreza en el Programa de Vivienda Básica y efectos de incremento en

pobreza asociados con el programa de vivienda rural.

Por último los evaluadores proponen dos observaciones que deben tomarse en cuenta

para ponderar los hallazgos de impacto: en primer lugar, se estima que de los nuevos

propietarios observados entre 1992 y 2003 (1,039,040) cerca del 85% son propietarios

beneficiarios de programas de vivienda públicos, segundo, que los efectos negativos en el

bienestar de los beneficiarios de programas sociales de vivienda pueden estar

determinados en su mayor parte por el fenómeno de segregación residencial cuyo efecto

en la reducción de tasas ocupacionales y la disminución en el aprovechamiento escolar de

la población escolar, así como en la incidencia de hogares monoparentales, pobreza y




Teléfono (664) 631-6300

84

desigualdad de ingresos ha sido ampliamente demostrada. (Ruprah y Marcano, 2007).




Observaciones generales: Los problemas de implementación detectados por los

investigadores mencionados son tres. Se observó que a) algunas familias beneficiarias

podían volver a encontrarse en situaciones de vivienda inadecuadas, b) existen mayores

índices de incumplimiento de obligaciones crediticias y c) se observó una tendencia a la

segregación residencial causada por el incremento de precios del suelo urbano.

Disponibilidad en internet: http://www.iadb.org/intal/intalcdi/PE/2009/03162.pdf

Nombre del Programa similar: Piso Firme.


similares.

Programa Apoyo

Piso Firme Cambia piso de tierra por piso de cemento en comunidades

rurales o apartadas de las zonas metropolitanas.


http://www.iadb.org/intal/intalcdi/PE/2009/03162.pdf




Teléfono (664) 631-6300

85

Nombre de la Evaluación: Housing Health and Hapiness. Housing Health and Hapiness,

Cattaneo, Galiani, Gertler, Martínez y Titiunik, 2007.

Tipo de la Evaluación: Impacto

Objetivos de la Evaluación: Valorar el impacto de la sustitución de pisos de tierra por pisos

de cemento o concreto en la salud de niños y niñas de hasta 5 años y en la satisfacción de la

población adulta.

Metodología utilizada: Discontinuidad geográfica y comparación de Áreas Geo-Estadísticas

Básicas (AGEB)

Valoración técnica: Es suficiente considerando que los hallazgos son relevantes para los programas de calidad y espacios de la vivienda dado que la sustitución de pisos de tierra por pisos de cemento sigue siendo un componente importante de los apoyos otorgados. Principales Resultados: La evaluación encontró mejorías claras en la salud de los

integrantes más jóvenes de los hogares que formaron parte del estudio con reducciones

importantes en infecciones parasitarias (78% menos que en el grupo de control), diarrea

(49% que en el grupo de control) y anemia (81% menos que en el grupo de control). La

evaluación también encontró incrementos notables en el desarrollo cognitivo de los niños de

esos hogares, siendo éste entre 36% y 96% más alto entre la infancia de los hogares con

tratamiento.






Teléfono (664) 631-6300

86


Observaciones generales: Finalmente, la evaluación también encuentra una serie de

mejorías en la calidad de la vida emocional y en la seguridad y confianza de los beneficiarios

adultos, lo que lleva a los expertos a concluir que la intervención también mejora la calidad de

vida de los adultos reduciendo factores de estrés y mejorando la percepción que éstos tienen

del entorno en el que habitan.

Disponibilidad en internet:

http://www-personal.umich.edu/~cattaneo/papers/Cattaneo-Galiani-Gertler-Martinez-

Titiunik_2009_AEJ-Policy.pdf

http://www-personal.umich.edu/~cattaneo/papers/Cattaneo-Galiani-Gertler-Martinez-Titiunik_2009_AEJ-Policy.pdf

http://www-personal.umich.edu/~cattaneo/papers/Cattaneo-Galiani-Gertler-Martinez-Titiunik_2009_AEJ-Policy.pdf




Teléfono (664) 631-6300

87

Nombre del Programa similar: Programa de Suministro de Agua entubada en

zonas rurales

Señalar características similares o tipos de apoyo que entrega considerados

como similares. El programa provee de agua entubada a hogares.


Nombre de la Evaluación: ‘DoesPipedWater Reduce DiarrheaforChildren in

Rural India?’

Tipo de la Evaluación: impacto, PSM,

Objetivos de la Evaluación: medir el impacto del acceso a agua entubada en la

variable de salud –episodios de diarrea- de niños y niñas de menos de 5 años de

edad ponderando diferencias en ingresos y nivel educativo en localidades de India.

Metodología utilizada: Los autores (Jalan, Jyotsna y Ravallion, Martin) usaron

datos de una encuesta de hogares realizada por el Consejo Nacional de

Investigación Económica Aplicada de la India en 1993 y 1994 que recaudó

información sobre el estatus educativo y de salud de 33,000 hogares rurales de

1,765 localidades de 16 estados indios. Además se recolectó información sobre los

ingresos con una encuesta especial para ello para añadir como factor determinante

de la salud de los menores de 5 años los ingresos y el máximo grado de estudios de

cualquiera de los miembros femeninos de los hogares encuestados.

A los datos de las encuestas se les aplicó una regresión logit en la que el resultado

binario 1 indicó que el hogar tenía acceso al agua y donde el valor 0 indicó la

ausencia del recurso. Como regresores se incluyeron un rango de características de




Teléfono (664) 631-6300

88

las localidades como infraestructura social y educativa, características

demográficas, religión etnicidad y condiciones de la vivienda.

Valoración técnica: El diseño de la evaluación se considera adecuado ya que utiliza

técnicas pseudo experimentales que permiten inferir el impacto del programa

comparando un grupo de control y otro de tratamiento.

Principales Resultados: La evaluación encuentra que el acceso a agua entubada

reduce significativamente la prevalencia de diarrea (en 21%), así como la duración

de los casos de la misma (29%). La evaluación encontró también que la prevalencia

y la duración de la enfermedad continuaron bajando mientras aumenta el ingreso y

la educación del hogar. No obstante, una vez que los resultados se estratificaron

según el ingreso per cápita los resultados revelaron la falta de mejorías

significativas en la salud de los menores entre los dos quintiles más pobres. Los

resultados, de hecho, permiten ver que las mejoras significativas en la salud de

mejores aparecen a partir del 4to quintil. Por otro lado, al comparar la diferencia

entre hogares con acceso al agua entubada en el hogar y hogares con acceso al agua

entubada fuera de éste, la evaluación encuentra que la duración de los episodios de

diarrea es 40% mayor en los hogares que usan tomas públicas de agua. Las mejoras

más significativas por acceso al agua entubada se registraron en los hogares en los

que las mujeres eran analfabetas, lo que sugirió, de acuerdo con los evaluadores,

que el acceso al agua entubada dentro de la vivienda compensa la falta de

conocimiento sobre la purificación y almacenamiento de agua de consumo humano.




Teléfono (664) 631-6300

89


Recomendaciones:

Fortaleza.- El impacto del agua entubada es observable y estadísticamente

significativo al comparar grupos sin diferencias sistemáticas.

Fortaleza.- El acceso al agua entubada tiene el potencial de mejorar sensiblemente

la salud de los hogares con menores de edad.

Oportunidades.- Se considera factible y pertinente evaluar el impacto de suministro

de agua entubada en programas de América Latina.

Observaciones generales: La evaluación es pertinente para el PDZP ya que ésta

mide el impacto de uno de los apoyos entregados por el programa. Resulta

especialmente interesante que combine los factores de acceso al agua entubada con

variables de nivel educativo y distinga el impacto de cada uno de ellos en la

población ya que con ello se contribuye a mejorar la comprensión de los efectos de

la interacción entre acciones privadas y acciones públicas en las condiciones de

salud de la población en cuestión.

Disponibilidad en internet:

http://elibrary.worldbank.org/docserver/download/2664.pdf?expires=13536062

88&id=id&accname=guest&checksum=F4F8544168F6CADBCF32CC1C959A6108




Teléfono (664) 631-6300

90




Teléfono (664) 631-6300

91

Nombre del Programa similar: RESPIRE (Guatemala)


similares. Instalación de estufas ecológicas.


Nombre de la Evaluación: Indoor Air Pollution, Health and Economic Well-being

Tipo de la Evaluación: impacto; gabinete

Objetivos de la Evaluación: medir el impacto de la sustitución de estufas simples (sin

chimenea hacia el exterior de las viviendas) por estufas ecológicas en variables de salud de

mujeres y menores de edad.

Metodología utilizada: Se seleccionaron aleatoriamente a mujeres beneficiarias de la

instalación de estas planchas con el criterio de que, o bien tuvieran un hijo/a de menos de

cuatro meses o bien estuvieran embarazadas al inicio del estudio. Estas mujeres recibieron las

‘planchas’ (o estufas) cuyo costo aproximado fue de entre 64 y 110 dólares cada una. Las

mujeres fueron observadas durante tres años o hasta que los hijos tuvieran 18 meses de edad.

Se realizaron mediciones periódicas del estatus de salud de los infantes al mismo tiempo que se

examinaron los efectos de la instalación de dichas estufas con exámenes de funcionamiento y

capacidad pulmonar así como con valoraciones médicas periódicas. Para medir la exposición al

humo de las estufas se examinó el aliento con monitores que miden el monóxido de carbono y

se realizaron revisiones de los síntomas respiratorios, de la irrigación de los ojos, de dolores de

cabeza y dolores de espalda.

Valoración técnica: el diseño de la evaluación se considera adecuado. Se obtiene el valor de las

variables de interés en grupos comparables (sin diferencias sistemáticas) de tratamiento y




Teléfono (664) 631-6300

92

control.

Principales Resultados: El estudio encontró que los niveles de monóxido de carbono se

redujeron significativamente entre las mujeres que recibieron las estufas. Después de 16 meses

el 52.3% de las mujeres en el grupo de tratamiento reportó mejoras en su salud comparado con

un 23.5% en el grupo de control. En el grupo de tratamiento se redujeron los reportes de

irritación ocular y dolores de cabeza y garganta, mejorías también observadas en los infantes

del grupo de tratamiento.


Recomendaciones:

Fortaleza.- La evaluación del programa RESPIRE es la única evaluación que mide rigurosamente

el impacto de la instalación de estufas ecológicas.

Fortaleza.- existe evidencia indirecta de que la reducción de volúmenes de monóxido de

carbono en el sistema respiratorio contribuye a mejorar la salud (elevar la expectativa de vida,

reducir el número de casos de enfermedades respiratorias, mejorar la capacidad pulmonar) de

adultos y menores de edad.

Oportunidad.- la instalación de fogones y estufas ecológicas puede reducir sensiblemente el

gasto de bolsillo en salud de los hogares que las reciben.

Oportunidad.- La evidencia existente sugiere que la coincidencia de estufas contaminantes con

pisos de tierra es importante. En Bruce et al, el 82% de los hogares que tenían fuegos expuestos

también tenían suelos de tierra. Ello sugiere que las intervenciones integrales (como la del

PDZP) pueden potenciar efectos.

Observaciones generales: El estudio reporta que la instalación de estufas mejoradas es la

principal herramienta de política pública para la reducción de contaminantes causados por el




Teléfono (664) 631-6300

93

uso biomasa (carbón, madera o residuos orgánicos) para la preparación de alimentos al interior

de las viviendas, sin embargo la evidencia más robusta citada por el estudio en cuestión es la del

programa RESPIRE en Guatemala. Los hallazgos de este estudio permiten a los autores delinear

una historia causal positiva en la que la reducción de contaminantes en el aire al interior de las

viviendas tiene efectos directos en la salud respiratoria de los beneficiarios y que a su vez éstos

ven reducidos sus gastos de bolsillo en medicina y atención médica e incrementada su

productividad en el trabajo así como su asistencia escolar.

Disponibilidad en internet: http://economics.mit.edu/files/2375




Teléfono (664) 631-6300

94

.

ANEXO 3. AGENDA DE EVALUACIÓN 2013-2018 CON BASE EN NECESIDADES DETECTADAS DEL PDZP

AÑO DE INICIO DE

EVALUACIÓN

TIPO DE EVALUACIÓN

OBJETIVOS DURACIÓN O PERIODO DE EJECUCIÓN

COMPONENTES A EVALUAR

JUSTIFICACIÓN E IMPORTANCIA

REFERENCIA INSUMOS NECESARIOS

2013 Procesos Objetivo General: Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo sus procesos (traducidos en sus componentes) conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión. Describir la operación del programa, por medio de sus procesos operativos, en los distintos órdenes de

6-12 meses El análisis de la evaluación de procesos considera cinco componentes para el logro de los siguientes objetivos:

i. Descripción de la operación del programa;

ii. Descripción de los procesos del programa;

iii. Identificación y clasificación de los procesos;

iv. Análisis y medición de atributos de los procesos, y

Según lo establecen los Lineamientos Generales para la Evaluación de Programas Federales, la evaluación de procesos analiza, mediante trabajo de campo, si el programa lleva a cabo sus procesos operativos de manera eficaz y si contribuye al mejoramiento de la gestión. Es importante realizar esta evaluación para revisar si la operación de un programa favorece el logro de la meta a nivel propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada componente establecido en la matriz de indicadores del

TdR Evaluación de Procesos (CONEVAL). PAEs 2007-2012, Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Publica Federal.

Información primaria Mediante la selección de áreas críticas, la de información es recabada en campo a través de visitas de observación, encuestas o entrevistas a los diferentes actores involucrados en el programa. Información secundaria Las fuentes de información secundaria que la institución




Teléfono (664) 631-6300

95

gobierno en los que se llevan a cabo; Detectar aquellos procesos operativos en los cuales se estén presentando fallas que afecten en alguna medida, el desempeño eficaz del programa; Identificar en qué medida los procesos operativos de los programas son eficaces y suficientes; Identificar en qué medida y de qué manera los procesos manifestados en las reglas de operación y otros instrumentos normativos de la operación de los programas son adecuados para lograr los objetivos planteados; Identificar y describir los problemas que obstaculizan la operación de los programas, así como las fortalezas y buenas prácticas que mejoran la capacidad de operación

v. Análisis global de la operación del programa.

programa y, por lo tanto, el logro del propósito.

evaluadora debe revisar son las siguientes: La normatividad aplicable (leyes, reglamentos, reglas de operación, lineamientos, manuales de procedimientos, entre otros); la matriz de indicadores para resultados, del ejercicio fiscal en curso; informes de avances, información referente al diseño, operación y desempeño del programa, entre otros informes; sistemas de información; evaluaciones del programa, y otros




Teléfono (664) 631-6300

96

de los mismos; Determinar los factores principales que permitan obtener elementos para definir la readecuación tanto de las reglas de operación como de otro instrumentos normativos de la operación del programa y, Elaborar recomendaciones específicas para que el programa ponga en operación, o mejore, sistemas de monitoreo de procesos8 internos que le permitan detectar las áreas de oportunidad para la mejora de sus procesos, con el fin de alcanzar sus objetivos de manera más eficaz y eficiente.

documentos pertinentes (por ejemplo, la norma ISO 9001).

2014 Evaluación específica de desempeño

Objetivo general: realizar una valoración sintética del desempeño de los programas sociales que se presenta

4 meses -Resultados -Productos -Cobertura -Seguimientos de aspectos susceptibles

En el contexto de una orientación de los programas sociales hacia una visión de rendición de cuentas y

CONEVAL: Evaluación Específica de Desempeño (EED) 2010-2011

Diagnósticos vigentes del programa, reglas de operación,

8 Se entiende por “sistema de monitoreo de procesos” aquellos procedimientos internos de generación y circulación de información sobre la realización de procesos y sus problemas, así como de toma de decisiones sobre los mismos con el fin de mejorar la eficiencia y la eficacia globales del programa.




Teléfono (664) 631-6300

97

mediante un formato homogéneo. Esta evaluación muestra el avance en el cumplimiento de sus objetivos y metas programadas, a partir de una síntesis de la información contenida en el SED y mediante el análisis de indicadores de resultados, de servicios y de gestión. Objetivos específicos: Resultados- El avance en la atención del problema o necesidad para el que fue creado el programa. Productos- La entrega de bienes y servicios a la población beneficiaria y el ejercicio del presupuesto. Cobertura- La definición y cuantificación de la Población Potencial, Objetivo y Atendida, así como la localización geográfica de la Población Atendida. Seguimientos de aspectos susceptibles de mejora- El avance de

de mejora

una política dirigida a resultados, se considera que la Evaluación Específica de Desempeño (EED) sintetiza y presenta de forma homogénea los avances alcanzados por los programas en el logro de sus metas y objetivos monitoreados a través de indicadores de desempeño.

Opinión Institucional, Evaluación Específica de Desempeño 2010

reportes finales de indicadores para cuenta pública e históricos de ASM.




Teléfono (664) 631-6300

98

los aspectos a mejorar derivados de los resultados de evaluaciones externas, así como las acciones definidas en el Documento de Trabajo.

2015 Específica de monitoreo de obra pública y satisfacción de beneficiarios.

Objetivo general: Conocer la satisfacción de los beneficiarios, así como el estado físico, la calidad del mantenimiento que reciben las obras y la calidad de la operación de la obra de infraestructura social básica construida por el programa.

18 meses: junio 2015 –diciembre 2016

Satisfacción de beneficiarios de obra de creación y mejora de infraestructura básica y de servicios. Satisfacción de beneficiarios de obra de creación y mejora de vivienda. Calidad de obra construida. Periodicidad y calidad del mantenimiento Actas de entrega

A dos años de iniciado el periodo 2013-2018 resultará sumamente importante conocer la satisfacción de beneficiarios respecto a la amplia gama de obra realizada por el programa tanto en la modalidad de infraestructura báisca como en la modalidad de vivienda. De aquí pueden surgir comparaciones útiles y significativas para la valoración de la evolución en la gestión y operación estratégica del programa. Por otro lado, resulta fundamental que antes de intentar medir el impacto del programa, se evalue la calidad de las obras construidas por los ejecutores que

ECR 2011; PAEs 2007-2012; Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Publica Federal.

Padrón de beneficiarios, listado de obras de infraestructura social básica, reglas de operación vigentes. Lineamientos operativos, estándares de calidad de obra, procesos de compra de material.




Teléfono (664) 631-6300

99

implementan los apoyos otorgados por el programa. El impacto de un programa debe calcularse una vez haya evidencia de que los apoyos diseñados para atender el problema definido por el programa llegan a quienes tienen presentan el fenómeno o problema que éste desea reducir o eliminar.

2017 Evaluación de impacto

Objetivo general: Conocer el impacto atribuible al programa en las variables de interés. Objetivo específico: Conocer el impacto atribuible al programa en el cambio observado en el Índice de Marginación Absoluto de las localidades atendidas. Conocer el impacto del programa como la mejora marginal en la calidad de las viviendas con piso firme, fogones, sanitarios y muros vs calidad de vida de las

24 meses Creación y mejora de viviendas: Pisos firmes (eliminación de pisos de tierra);Servicio sanitario (baños, letrinas, fosas sépticas, pozos de absorción o similares); Fogones altos, estufas rústicas o similares; Muros reforzados y techos. Creación y mejora de infraestructura social básica y de servicios: Sistemas para la provisión de agua potable;Obras de saneamiento,

Dados los avances del país en materia de piso firme desde el añó 2000 a la fecha resulta importante conocer el impacto de los componentes que complementan la sustitución de pisos firmes en las viviendas y las localidades atentidadas por el PDZP. La evaluación se puede llevar a cabo con escuestas y trabajo de campo etnográfico en 5-6 estados que contengan localidades representativas de la diversidad de apoyos y población.

ROP 2012, PAEs-2007-2012, Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Publica Federal; Análisis de Factibilidad de una evaluación de impacto para el programa PDZP.

Informes trimestrales, padrones de beneficiarios, fichas del CUIS, fichas del ANEXO PDZP




Teléfono (664) 631-6300

100

viviendas en las que sólo se ha instalado el piso firme. Conocer los cambios atribuibles al programa en la calidad de vida de las viviendas con piso firme en localidades que cuentan con creación y mejora de infraestructura social básica del programa contra las viviendas con piso firme en localidades que no cuentan con creación y mejora de infraestructura social básica del programa.

incluyendo alcantarillado, drenaje, colectores y plantas de tratamiento de aguas residuales, entre otras;Rellenos sanitarios o similares;Redes o sistemas de energía eléctrica, incluyendo el acercamiento de este servicio a los domicilios de los beneficiarios;Infraestructura educativa (rehabilitación, equipamiento y construcción de aulas, escuelas, entre otros);Centros de salud o similares (rehabilitación, equipamiento y construcción de centros de salud, entre otros);Infraestructura productiva comunitaria (invernaderos, silos, infraestructura pecuaria, entre otros); Sistemas de comunicación (telefonía y conectividad digital,

Los grupos de control y tratameinto tendrían en común la instalación de pisos firmes por el programa y deben estar consttuidos por viviendas cuya probablidad de ser incluidas en el programa fuera igual en el año base para así medir las diferencias entre los grupos de tratamiento (viviendas con piso firme + el resto de componentes de mejora de vivienda y viviendas con piso firme en localidades con obra de infraestructura social básica) y el grupo de control (viviendas con piso firme en localidades sin obra de infraestructura básica).




Teléfono (664) 631-6300

101

entre otros);Centros comunitarios digitales y otros espacios para el desarrollo comunitario.

2018 Continua evaluación de año previo.

Continua evaluación de año previo.






Observaciones generales

La evaluación de impacto se recomienda bajo el supuesto de que el programa siga con las buenas prácticas de gestión y operación que han sido observadas por las evaluaciones 2007-2012 y bajo el supuesto de que la evaluación específica de monitoreo y satisfacción de beneficiarios arroje resultados favorables. Alternativamente se recomienda seguir la agenda de evaluación con las evaluaciones complementarias y/o específicas de desempeño que se consideren pertinentes.




Teléfono (664) 631-6300

102

ANEXO 4. ANÁLISIS FODA (FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS) DEL PDZP

Tema de evaluación

Aspecto Identificado Referencia Recomendación Referencia de la recomendación

Fortaleza/ Oportunidad

Evaluación: Fortaleza

El programa muestra la capacidad de sostener avances favorables para el componente de piso firme que superó su meta sectorial considerablemente (2.6 millones de viviendas).

14 No Aplica

Evaluación: Oportunidad

Si bien el programa muestra avances en muros y techos de material de calidad y estufas ecológicas y sustitución de biocombustibles éstos aún no muestran el mismo desempeño que el indicador de pisos firmes.

14

Se sugiere estudiar si la diferencia se debe a procesos de entrega y oferta del servicio o a diferencias en la demanda de los distintos apoyos.

Evaluación: Fortaleza

El Programa ha dado seguimiento y atención a la gran mayoría de los ASM resultados de las evaluaciones del programa y sus antecesores directos el PDL y el PAZAP.

8 No aplica

Debilidad/ Amenaza




Teléfono (664) 631-6300

103

Evaluación: Debilidad

El Programa cuenta con una evaluación de satisfacción de beneficiarios cuya metodología es adecuada. Sin embargo esta evaluación no distingue entre los beneficiarios de obras de infraestructura básica y beneficiarios de obra en vivienda.

24

Se sugiere contemplar evaluaciones de satisfacción de beneficiarios que sean sensibles a los diferentes esquemas de apoyo que ofrece el programa.


El listado de obras encontrado por la ECR 2011 no cuenta con los requisitos necesarios para tomarlo como un padrón de beneficiarios enunciados en los Lineamientos Normativos para la Integración del Padrón de beneficiarios de la SEDESOL.

8

Se sugiere armonizar el listado de obras del programa con los requisitos del documento normativo de la secretaría con la finalidad de que el programa pueda responder adecuadamente a las solicitudes que instancias gubernamentales y/o civiles y educativas tengan a bien emitir.


El programa tiene pocas probabilidades de homogeneizar los grados de coordinación entre los niveles estatal y municipal de gobierno lo que puede tener consecuencias en la homogeneidad en la calidad de las obras y que a su vez puede tener consecuencias en la profundización de las diferencias intra-municipales de acceso a la

10

Se recomienda homologar procesos y lineamientos que contribuyan a estandarizar la calidad de las obras entregadas con el programa.




Teléfono (664) 631-6300

104

infraestructura básica.

Tema de evaluación

Aspecto Identificado Referencia Recomendación Referencia de la recomendación

Fortaleza/ Oportunidad

Monitoreo

Existe compromiso por parte de la UR para incorporar las recomendaciones de evaluaciones externas e instancias gubernamentales autorizadas para mejorar la MIR (F).

No aplica

Monitoreo

Existe compromiso por parte de la UR para incorporar indicadores de desempeño (de resultados y estratégicos) adecuados y relevantes (F).

No aplica




Teléfono (664) 631-6300

105

Monitoreo Cuenta con sistemas de información de desempeño para dar seguimiento de resultados (F).

No aplica

Monitoreo Existe correspondencia entre la MIR y las ROP vigentes (F).

No aplica

Debilidad/ Amenaza

Monitoreo El resumen narrativo del Fin en la MIR actual no expresa claramente el objetivo del programa a este nivel (D).

Se sugiere modificar el resumen narrativo del Fin para referirlo a desigualdades intramunicipales y no regionales: Contribuir a la reducción de las desigualdades intramunicipales a través del fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las localidades marginadas, rezagadas o en pobreza a los procesos de desarrollo.

Monitoreo Las actividades previstas en las ROP vigentes no se reflejan en la MIR actual, según su relevancia.

Se sugiere agregar las siguientes Actividades: 'Difusión del programa', 'Seguimiento a desempeño de Instancias Ejecutoras', 'Asesoría técnica a instancias estatales y municipales'. Tales actividades aplican para ambos Componentes.




Teléfono (664) 631-6300

106

Monitoreo

Existen problemas de disponibilidad de información actualizada para calcular el valor de los indicadores de Fin y Propósito (D).

Se considera que una modificación del indicador de Propósito (véase propuesta de mejora abajo) podría compensar la falta de información debida a la frecuencia de medición del indicador de Fin. Se recomienda sustituir el indicador actual por los siguientes (con frecuencia de medición anual): Aumento neto en el porcentaje de hogares con alcantarillado en comunidades mejoradas = variación porcentual en el número neto de hogares con alcantarillado en el periodo de reporte. La información para estos indicadores se obtendría del listado de obras realizadas por año y, a partir de 2012, del padrón de beneficiarios.

Monitoreo Existen restricciones presupuestales que dificultan el establecimiento de metas de desempeño (A).

Se sugiere modificar el resumen narrativo del Fin para referirlo a desigualdades intramunicipales y no regionales: Contribuir a la reducción de las desigualdades intramunicipales a través del fortalecimiento del capital físico y del desarrollo de acciones que permitan la integración de las localidades marginadas, rezagadas o en pobreza a los procesos de




Teléfono (664) 631-6300

107

desarrollo.

NOTA CONCEPTUAL: Las fortalezas y debilidades del PDZP se refieren a aspectos positivos y negativos, respectivamente, de la gestión interna del

programa que facilitan el cumplimiento de las expectativas de desempeño que respecto al programa se tienen; es decir, que están

relacionadas con el conjunto de actores, recursos, capacidades y acciones de sus operadores, cuyo comportamiento genera

efectos que favorecen o impiden, facilitan o dificultan la realización de los objetivos y metas de desempeño previstos.

Las amenazas y oportunidades del PDZP están relacionadas con el conjunto de actores, acciones, tendencias en curso que son exteriores a su gestión y que por sus efectos inmediatos o futuros favorecen o impiden, facilitan o dificultan, respectivamente, la realización de sus objetivos y metas de desempeño.

INFORME PRELIMINAR META EVALUACIÓN DEL … · no funcionaban al momento del levantamiento, y que...

Documents

Transcript of INFORME PRELIMINAR META EVALUACIÓN DEL … · no funcionaban al momento del levantamiento, y que...