1 Capacitación Informes sfdds ds

23
DIRECCIÓN DE PLANEACIÓN Y NORMATIVIDAD DE LA POLÍTICA DE EVALUACIÓN Capacitación Evaluación Específica de Desempeño (EED) 2012 - 2013 Mayo 2013 www.coneval.gob.mx

description

ds sfsa

Transcript of 1 Capacitación Informes sfdds ds

DIRECCIÓN DE PLANEACIÓN Y NORMATIVIDAD

DE LA POLÍTICA DE EVALUACIÓN

Capacitación

Evaluación Específica de

Desempeño (EED) 2012 - 2013

Mayo 2013

www.coneval.gob.mx

• Información contenida en el Módulo de la Evaluación

Específica de Desempeño (MEED)

• Plazo para desarrollo (mayo a septiembre)

• Coordinación efectiva de actores involucrados

Actores dentro de las dependencias, las unidades de evaluación y el Gobierno Federal que tomen decisiones a nivel gerencial.

Valoración sintética que refleje el desempeño de los programas (S, U) y contribuya a la toma de decisiones. Objetivo

Evaluación Específica de Desempeño (EED) 2012-2013

Alcance

¿Dirigido a?

Restricciones

• CONEVAL contrata a Evaluadores externos (equipo evaluador) y la

vía de comunicación con la Unidad Responsable es la Unidad de

Evaluación.

• Unidad Responsable: Proporciona información para realizar la

evaluación.

¿Quién la

elabora?

Esquema de la EED 2012-2013

• Fin

• Propósito

• Alineación Resultados

• Componentes

• Actividades

• Presupuesto Productos

• Aspectos Susceptibles de Mejora

Seguimiento

• Cobertura

• Población Potencial, Objetivo y Atendida

Cobertura

o Indicadores de Resultados

o Evaluaciones Externas de Resultados

o Indicadores Sectoriales

o Indicadores de Servicios y Gestión

o Informes Trimestrales

o Documento de Trabajo

o Documento Institucional

o Avances del Seguimiento

o Informes de Cobertura

o Evaluaciones Externas

EED

Informe

SIEED MEED

Modulo de información para la Evaluación

Específica de Desempeño (MEED)

El MEED es una aplicación informática que permite que las Unidades de Evaluación y el CONEVAL carguen información de los programas federales de desarrollo social. En este ejercicio, la información será utilizada por el

evaluador para realizar la EED en el SIEED.

Módulo de Información para la

Evaluación Específica de

Desempeño (MEED)

1. Reglas de Operación o Lineamientos

2012

2. Cambios relevantes en ROP o

Lineamientos de 2011 ó 2012

3. Informes Trimestrales 2012

4. Informes de Evaluaciones Externas

5. Plantilla de Población Atendida (PPA)

6. Plantilla de Población Atendida (PPA) en

Municipios de la Cruzada contra el

Hambre

7. Definición y justificación de la Población

Potencial, Objetivo y Atendida 2012

(Debe incluir la manera en que se cuantifican

las poblaciones)

8. Justificación del avance de indicadores

respecto a sus metas

9. Avance del Indicador Sectorial (2007-2012)

10. Aspectos Susceptibles de Mejora (abril

2013)

11. Avance en los Aspectos Susceptibles de

Mejora (marzo 2013)

12. Avances del programa en el año 2013

13. Informes Ejecutivos de la EED (2008-2009,

2009-2010 y 2010-2011)

14. Consideraciones sobre la evolución del

presupuesto

15. Otros documentos relevantes

(Incluir lista de la información proporcionada

indicando qué información es pública, e incluir la

liga al sitio web)

Documentos para cargar al MEED Documentos para cargar al MEED

Información para la EED 2012-2013

UE: Carga al MEED

Documentos para cargar al MEED

Calendario de Actividades

ACTIVIDAD RESPONSABLE FECHA

Carga de información al MEED Unidades de Evaluación 30 de abril al 10 de mayo

Revisión de la información cargada al MEED Equipo Evaluador 08 al 13 de mayo

Reuniones iniciales calendarizadas Ev-Pp* CONEVAL 14 al 21 de mayo

Segunda carga (escalonada) de información al MEED Unidades de Evaluación 15 al 23 de mayo

Listado Fuentes de información MEED Equipo Evaluador 24 de mayo

Informe inicial (II) Equipo Evaluador 24 de junio

Segunda reunión obligatoria Ev-Pp* Equipo Evaluador 26 de junio al 11 de julio

Revisión y comentarios IE Unidades de Evaluación y

CONEVAL 26 de junio al 11 de julio

Informe final (IF) Equipo Evaluador 22 de julio

Opinión institucional (OI) y Resumen de la OI Unidades de Evaluación 29 de julio

II Evaluación Integral (EI), Ficha Narrativa (FN) y Ficha

de Monitoreo (FM) Equipo Evaluador 19 de agosto

Revisión y comentarios II de la EI, la FN y la FM CONEVAL 20 al 29 de agosto

IF Evaluación Integral (EI), Ficha Narrativa (FN) y Ficha

de Monitoreo (FM) Equipo Evaluador 9 de septiembre

*Evaluador - Programa presupuestario

Nota: Las fechas del calendario no pueden ser modificadas

Descripción del programa

Resultados encontrados en evaluaciones de impacto con rigor técnico.

Si el programa no cuenta con evaluaciones de impacto, el evaluador elige la

leyenda predeterminada que indique por qué el programa no cuenta con una

evaluación de impacto (o si es irrelevante que se le aplique).

Las evaluaciones que se consideren en este apartado deberán ser

consensuadas con el CONEVAL

Hallazgos relacionados con el Fin y el Propósito del programa.

Síntesis de los principales hallazgos de las actividades del programa, satisfacción de usuarios, entre otras.

Otros Hallazgos

Resultados (Cumplimiento de sus Objetivos)

Efectos Atribuibles

Otros Efectos

Breve descripción del programa o acción

que permita entender cuál es su

propósito, cómo lo lleva a cabo (bienes

y/o servicios que entrega) y a quién está

dirigido (consistente con la información de

la MIR).

Ejemplo: El Programa 70 y más entrega apoyos económicos a los adultos mayores de 70 años. Con ello busca mejorar el ingreso de los adultos mayores que se encuentran en situación de vulnerabilidad, así como aminorar el deterioro de su salud física y mental).

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Acciones que el programa realiza para mejorar derivado de las evaluaciones

Avances del Programa en el Ejercicio Fiscal Actual

Avance de Indicadores y Análisis de Metas

Avance en las acciones de mejora comprometidas en años anteriores

Aspectos comprometidos en 2013

Valoración del avance en los aspectos de mejora

definidos en los Documentos de Trabajo y/o

Documento Institucional.

No es copy-paste

Resumen de los aspectos de mejora del documento de

Trabajo y/o Documento Institucional definidos en 2013.

No es copy-paste

Análisis del avance que han tenido los indicadores de la MIR en 2013 respecto a sus metas, considerando los valores del

avance en años anteriores. Asimismo, debe comentarse si las metas son laxas o no,

No debe incluirse un análisis de los indicadores.

Comentar los avances del programa relevantes en el primer semestre del 2013.

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Población Cobertura

Evolución de la Cobertura Análisis de la Cobertura

Entidades atendidas

Municipios atendidos

Localidades atendidas

Mujeres atendidas

Hombres atendidos

Definición de la Población Objetivo (en algunos casos

dada la escases de espacio es una síntesis)

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Con base en los datos de cobertura presentados se

deberá hacer un análisis de la población potencial,

objetivo y atendida, además de la evolución de cada

una tomando en cuenta la evolución del presupuesto

del programa. Es importante destacar en el análisis si la

información de la población atendida está desagregada

por sexo.

Alineación de la Matriz de

Indicadores con el PND Evolución del Presupuesto (MDP Reales de 2012)

Objetivo del PND

Especificar el Objetivo del PND

Propósito Especificar el Propósito del programa

Fin Especificar el Fin del Programa

Objetivo Sectorial

Especificar el Objetivo del Programa

Sectorial/Institucional al cual pertenece el programa

Indicador sectorial

Nombre: Nombre del indicador sectorial al que se

vincula del programa sectorial de la administración

pasada

Avance: Avance del indicador sectorial en 2012

Meta: Meta del indicador sectorial en 2012 Original

$50.00

Modificado

$84.52

Ejercido

$84.52

Presupuesto

2012 (MDP)

Análisis de la evolución del

presupuesto considerando las

características del programa y la

modificación de las mismas a través

del tiempo

Consideraciones sobre la Evolución

del Presupuesto

Presupuesto

Original

Presupuesto

Ejercido

Presupuesto

Modificado

Año del Inicio

del Programa

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Información

CONEVAL

Información

CONEVAL

Información

CONEVAL

Conclusiones del Evaluador Externo

Fortalezas Retos y Recomendaciones

Es un juicio sintético del desempeño del programa a la fecha con base en la información de la evaluación, que permitan

una mejor comprensión de los juicios de valor.

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Observaciones del CONEVAL

Opinión de la Dependencia (Resumen)

Resumen de la Opinión de la Dependencia.

Consideraciones de parte del CONEVAL con respecto al programa y la evaluación, así como la transparencia en la

difusión de la información que se utiliza para el ejercicio de evaluación.

Réplica de la Unidad Responsable y de la Unidad de Evaluación sobre la evaluación y/o los aspectos que considere

importantes resaltar.

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

CONEVAL

Unidades de

Evaluación

Unidad de medida Año Base Frecuencia Meta 2012 Valor 2012 Valor 2011

1. Nombre del indicador

Unidad de medida Año Base Frecuencia Meta 2012 Valor 2012 Valor 2011

2. Nombre del indicador

Unidad de medida Año Base Frecuencia Meta 2012 Valor 2012 Valor 2011

3. Nombre del indicador

Establecido en la MIR

2012

Fin

Establecido en la MIR

2012

Propósito

Indicadores de Resultados

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Información

CONEVAL

Información

CONEVAL

Establecidos en la MIR

2012 (información

proporcionada por el

CONEVAL)

.

Componentes

Unidad de medida Año Base Frecuencia Meta 2012 Valor 2012 Valor 2011

1. Nombre del indicador

Unidad de medida Año Base Frecuencia Meta 2012 Valor 2012 Valor 2011

2. Nombre del indicador

Indicadores de Servicios y Gestión

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Información

CONEVAL

Fuentes de Información

Especificar los documentos incluidos en el MEED y los

proporcionados por el CONEVAL.

Calidad y Suficiencia de la Información

disponible para la Evaluación

Valoración sobre las fuentes de utilizada para la

evaluación y su calidad. Especificar que información faltó

o se necesitó para la evaluación

Información de la Coordinación y Contratación

Datos Generales del Evaluador

1.Instancia Evaluadora:

2.Coordinador de la Evaluación:

3.Correo Electrónico:

4.Teléfono:

Unidad Administrativa Responsable del Programa

Datos del Titular:

Nombre:

Teléfono:

Correo Electrónico:

Contratación

• Forma de contratación del evaluador externo:

• Costo de la Evaluación:

• Fuente de Financiamiento:

Datos de Contacto CONEVAL

-Datos de los contactos que coordinaron la evaluación

Información de la Evaluación

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Información

CONEVAL

Información

CONEVAL

Información

CONEVAL

DIRECCIÓN DE PLANEACIÓN Y NORMATIVIDAD

DE LA POLÍTICA DE EVALUACIÓN Evaluación Integral 2012-2013

Ficha Narrativa 2012-2013

Ficha de Monitoreo 2012-2013

Actores dentro de las dependencias, las unidades de evaluación y

el Gobierno Federal que tomen decisiones a nivel gerencial.

Contar con una valoración integral del desempeño de los

programas que conforman la temática a partir de la información

contenida en el MEED, otras fuentes externas de información

pertinente, bibliografía especializada reciente, así como del

conocimiento experto e informado del evaluador, que permita

interpretar los resultados encontrados en un contexto más amplio.

Dicha valoración contribuirá a mejorar el diseño de políticas

públicas, facilitando una visión de las interacciones que existen

entre distintos programas.

Objetivo

Evaluación Integral del Desempeño 2012-2013

Alcance

¿Dirigido a?

Evaluación Integral del Desempeño

Contenido

Análisis general de la problemática que atiende el grupo temático • Explicar el problema o necesidad que atienden en su conjunto, así como sus causas y

sus efectos.

a

Análisis de la pertinencia de los programas del grupo como

instrumento para resolver la problemática • Señalar si los programas son adecuados en términos de su diseño (respecto de la

atención a la problemática), suficientes (en términos de cobertura, alcance y

presupuesto), si existen coincidencias o complementariedades evidentes entre

ellos y cómo pueden coordinar sus acciones y atención a la población objetivo.

b

Logros y fortalezas principales de los programas en su conjunto • Identificar los logros y fortalezas de los programas en una visión integral, buscando

aspectos en común en su gestión, diseño, cobertura y presupuesto y señalar los

avances realizados en términos de la problemática que buscan solucionar.

c

Retos y recomendaciones generales del grupo evaluado • Identificar principales retos del conjunto de los programas en la atención de la

problemática.

• Estas recomendaciones deben ser factibles

d

Buenas Prácticas Externas • Breve análisis de buenas prácticas en diseño, operación o evaluación de

programas similares, destacando aquellas que sirvan para mejorar el desempeño de

los mismos.

e

Referencias

f

Evaluación Integral del Desempeño

Contenido

Ficha Narrativa 2012-2013

Valoración de la información de desempeño presentada por el programa

Nombre del Programa

Unidad Administrativa

Emitir una valoración sobre los temas abordados en la EED para cada uno de los programas, con base en una justificación breve.

Objetivo

Resultados u Otros Efectos: Cuando el programa cuente con evaluaciones de

impacto rigurosas, se debe valorar el grado de avance del programa en cuanto a sus resultados de impacto. Cuando el programa no cuente con evaluación de impacto, se

deben valorar los efectos relacionados con el Fin y/o el Propósito.

1

Otros Hallazgos: Valorar el grado de avance del programa en cuanto a acciones

relacionados con su desempeño o la entrega de bienes y/o servicios.

2

Avances de Indicadores y Análisis de Metas: Valorar el grado de avance

de los indicadores de Resultados y de Servicios y de Gestión seleccionados para la EED, así como de la construcción de metas. Cuando se considere pertinente, se recomienda ilustrarlo de manera cuantitativa.

3

Cobertura: Valorar el grado de avance en la Cobertura del programa con base en la

información contenida en el apartado de Análisis de la Cobertura de la EED. Cuando se considere pertinente, se recomienda ilustrarlo de manera cuantitativa.

4

Fortalezas, Retos y Recomendaciones: Señalar e interpretar al menos una

fortaleza y al menos un reto o recomendación relevante para mejorar el desempeño del programa. En esta temática no es necesario valorar la información, solo enunciarla.

5

Ficha Narrativa

Alcance

Contar con un instrumento sintético que permita entender el

objetivo del programa o acción, cómo lo lleva a cabo, a quién

está dirigido y que brinde información sobre los resultados, la

cobertura y la vinculación con el sector del programa o

acción, con la finalidad de mostrar el avance en la atención

de la problemática, en el ejercicio fiscal 2012.

Objetivo

Ficha de Monitoreo (FM) 2012

Alcance

Con el objeto de dar cumplimiento al

artículo 72 y 78 de la Ley General de

Desarrollo Social, así como el numeral

trigésimo cuarto de los Lineamientos de

Evaluación, la Ficha será de aplicación

generalizada a todos los programas (S,

U) y las acciones (B, E) de desarrollo social que integran el Inventario

CONEVAL.

Alcance

Inventario CONEVAL

Ficha de Monitoreo

Contenido

Descripción del Programa o Acción •Año de inicio (antecedentes) y responde cuál es su objetivo, cómo lo lleva a cabo y a quién está dirigido.

Resultados •Indicadores de Resultados (2)

•¿Cuáles son los resultados y cómo los mide?

Cobertura •Información de las poblaciones (Potencial, Objetivo y Atendida), evolución y análisis de la cobertura.

Análisis del Sector •Relación del programa con el sector: Indicador sectorial, especial o institucional, datos presupuestarios y análisis del sector.

* *

* *

*

*

* Información de la EED