Presentación de PowerPoint - Juntaex · MECANISMOS DE EVALUACIÓN Y SEGUIMIENTO DE LOS PO DE...
Transcript of Presentación de PowerPoint - Juntaex · MECANISMOS DE EVALUACIÓN Y SEGUIMIENTO DE LOS PO DE...
MECANISMOS DE EVALUACIÓN Y
SEGUIMIENTO DE LOS PO DE FONDOS
ESTRUCTURALES 2007‐2013.
Perspectiva práctica.
Nuria Fernández Conejero
REGIO PLUS Consulting
Mérida, 18 de marzo de 2010
El contenido de la presente comunicación es propiedad de Regio Plus Consulting. Quedan reservados todos los derechos. No se permite la cesión, uso, reproducción total o parcial, tratamiento informático ni comunicación del contenido de este documento sin autorización escrita de Regio Plus Consulting.
ORGANIZACIÓN DE LA PONENCIA:
1. DESCRIPCIÓN DE CONCEPTOS Y FUNCIONES
2. LAS HERRAMIENTAS BÁSICAS PARA EL SEGUIMIENTO
3. EL SISTEMA DE SEGUIMIENTO
4. LA INFORMACIÓN A APORTAR POR PARTE DE LOS BENEFICIARIOS
5. EL PROCEDIMIENTO DE EVALUACIÓN
6. LA IMPORTANCIA DEL PAPEL DE LOS ÓRGANOS GESTORESPARA AUMENTAR LA UTILIDAD DE LA EVALUACIÓN
1. DESCRIPCIÓN DE CONCEPTOS Y FUNCIONES: Seguimiento y evaluación continua.
1.1. ¿QUÉ ES EL SEGUIMIENTO?
Es tarea desarrollada en la etapa del ciclo de gestión relativa a la ejecución de los proyectos, cuya finalidad es informar a todos los agentes implicados sobre el estado en que se encuentra la ejecución y verificar en qué grado se están realizando las actividades y alcanzado los resultados y objetivos previstos:
Seguimiento de la ejecución financiera.
Seguimiento de la ejecución física.
Seguimiento de la estrategia y de los objetivos del PO.
Otros aspectos a tener en cuenta por el Seguimiento: PH, otras políticas o prioridades (comunitarias, nacionales y regionales)
SEGUIMIENTO OPERATIVO
SEGUIMIENTO ESTRATÉGICO
Evaluar es emitir un juicio crítico sobre una situación determinada
Análisis de los efectos a corto y largo plazo de las políticas, tanto sobre los grupos sociales o situaciones para los cuales se diseñó la política, como sobre la sociedad en general, y el análisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados” (Dye, 1995).
Sirve para medir la ejecución y resultado de programas para ser utilizados en la toma de decisiones” (Ruthman, 1991).
Recopilación sistemática de información sobre actividades, características y resultados de un programa para su utilización por un grupo específico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en función de qué se está haciendo con el programa y a quién está afectando” (Patton, 1987).
Proceso por el cual se analiza la eficacia y eficiencia de un programa. Esto implica la recogida, análisis e interpretación de la información sobre el logro de los objetivos del programa en relación con las previsiones” (Epstein y Tripodi, 1977)
1.2. ¿QUÉ ES LA EVALUACIÓN?
El carácter continuo de la Evaluación
Mayor flexibilidad para elevar la utilidad de la evaluación.
Mayor vínculo de los procesos de seguimiento y evaluación.
Nuevas oportunidades de evaluación (Eval. Temáticas):
Las evaluaciones temáticas previstas para el FEDER.
Las evaluaciones temáticas previstas para el FSE.
La evaluación del Plan de Comunicación de los PO
1.4. EL SEGUIMIENTO Y EVALUACIÓN CONTINUA EN EL PERÍODO 2007‐2013
2. LAS HERRAMIENTAS BÁSICAS PARA EL SEGUIMIENTO
La autoridad de gestión y el Comité llevarán a cabo su labor de seguimiento basándose en indicadores financieros y en los indicadores mencionados en el artículo 37, apartado 1, letra c), especificados en el programa operativo.
Artículo 66 del Reglamento (CE) Nº1083/2006
Indicadores de producción y resultados,atendiendo al principio de proporcionalidad
Otra información de carácter cualitativo
2.1. Tipos de indicadores
Descripción de los indicadores
Manual descriptivo de indicadores, 2007‐2013 (FEDER y Fondo de Cohesión).Guía metodológica actualizada para la elaboración de los Programas Operativosdel Fondo Social Europeo para el periodo 2007‐2013 y para la selección deindicadores.
Informes de ejecución anual de los POs.Detectar desviaciones en la ejecución de los POs. (evaluación operativa)Cualquier informe o ejercicio de evaluación continua
Identificar desviaciones significativas en la gestión de los POs.Realizar evaluaciones operativasAdopción de medidas de corrección o mitigación de la desviación
Indicadores operativos
Indicadores de Alerta
BENEFICIARIOS/ÓRGANOS EJECUTORES
BENEFICIARIOS/ÓRGANOS EJECUTORES
Procedimientos de evaluación.
Indicadores de evaluaciónSubd. Gral. de Programación Territorial y Eval. de Programas Comunitarios (SGPTEPC) y la Unidad de Eval. y Seg.Estrat. de la UAFSE
Contribución de la política de cohesión al PNRInformación de contexto para informes de ejecución anual de los POsAvances nacionales y regionales en relación a las principales políticas (informes estratégicos preceptivos en 2009 y 2012).Revisar los valores previstos a alcanzar en 2010 y 2013.Cualquier informe o llevar a cabo el ejercicio de evaluación continua
Indicadores estratégicos y de contextoSubd. Gral. de Programación Territorial y Eval. de Programas Comunitarios (SGPTEPC) y la Unidad de Eval. y Seg.Estrat. de la UAFSE
2.2. Los indicadores operativos
¿Qué miden los indicadores operativos?
Aportan información directa de la ejecución de las actuaciones previstas en los programas .De forma particular los indicadores de alerta son los instrumentos a través de los cuales se tratarán de identificar los problemas de implementación del Programa, dotando a la Autoridad de Gestión /Organismo Intermedio de capacidad de reacción cuando sea necesario.
¿Cuándo han de realizarse las mediciones?
Los indicadores operativos se cuantificarán al menos una vez al año, a petición del Organismo Intermedio. Dicha petición suele realizarse en el primer trimestre del año.
3. EL SISTEMA DE SEGUIMIENTO
¿Cómo los indicadores operativos “alertan” sobre problemas en la ejecución de los PO?
INDICADORES DE ALERTA
DESVIACIONESSIGNIFICATIVAS
EVALUACIÓN PORDESVIACIÓN
• FEDER• FSE
• Umbrales mínimos de ejecución
•Seguimiento de las medidas correctoras•Propuesta justificada de recomendaciones y medidas correctoras
•Apreciación del alcance de las desviaciones •Análisis de la desviación
3.1. Indicadores de alerta: PO FEDER de Extremadura, 2007‐2013
EJECUCIÓN ACUMULADA MÍNIMA PARA NO REALIZAR EVALUACIÓN OPERATIVA
2009 2010 2011 2012 2013
EJE 1Número de proyectos de I+D+I 131,8 248,7 374,0 493,8 608,3Número de proyectos (Temas prioritarios 10‐15) 48,1 90,8 136,6 180,6 223,5
EJE 2Número de proyectos (tema prioritario 08) 470,8 888,6 1.336,3 1.776,3 2.244,4Número de empresas beneficiadas 3.205,6 6.049,9 9.098,7 12.094,0 15.281,8
EJE 3
Actuaciones desarrolladas en zonas Red Natural 2000 13,4 25,3 38,1 53,7 82,2Redes de abastecimiento creadas 28,1 53,0 79,7 126,6 258,4Número de proyectos ( temas prioritarios 16, 17, 20‐23, 25 )
10,1 19,0 28,6 37,4 44,3
EJE 4
Kilómetros de nuevas carreteras (Temas prioritarios 20‐23,25)
39,0 73,5 110,6 147,3 187,5
Número de proyectos objetivo de sostenibilidad y susceptible de mejorar atractivo de casos urbanos (Tema prioritario 61)
13,1 24,8 37,3 49,7 63,1
Número de proyectos (Tema prioritario 58) 1,4 2,6 4,0 5,3 7,0Número de proyectos (tema prioritario 75) 59,9 113,0 169,9 235,0 340,3
EJE 5 Número de estudiantes beneficiados (tema prioritario 75) 8.979,8 16.947,6 25.488,1 35.246,6 51.042,8
3.2. Indicadores de alerta: PO FSE de Extremadura, 2007‐2013
EJECUCIÓN FÍSICA ACUMULADA MÍNIMA PARA NO REALIZAR EVALUACIÓN OPERATIVA
2009 2010 2011 2012 2013
Eje 1 28% 48% 65% 79% 90%
Eje 2 28% 48% 65% 79% 90%
Eje 3 28% 48% 65% 79% 90%
4. LA INFORMACIÓN A APORTAR POR PARTE DE LOS BENEFICIARIOS
Datos identificativos
Aspectos relacionados con los procedimientos generales de gestión de las operaciones
Seguimiento del avance de las actuaciones
Contribución a las Políticas Comunitarias y Nacionales
Contribución a las Prioridades Horizontales
Identificación de Buenas Prácticas
4.1. Datos Identificativos
Identificación de la Categoría de Gasto y el Órgano Gestor de las Actuaciones.
Ubicación de la medida en el PO
Identificación de las Operaciones realizadas
Descripción del Proyecto (objetivos, características, complementariedad con otras actuaciones, …)
4.2. Aspectos relacionados con los Procedimientos Generales de Gestión de las Operaciones
• Bases reguladoras• Orden/convocatoria• Solicitudes presentadas / aceptadas• Gasto programado / aprobado
AYUDA / SUBVENCIÓN
• Publicación en DOUE• Denominación y código de contrato.• Tipo de contrato• Procedimiento de adjudicación• Presupuesto de licitación / adjudicación
PROCEDIMIENTOS DE CONTRATACIÓN
• Objeto del convenio• Normas de desarrollo• Entidad colaboradora• Duración total• Presupuesto
CONVENIOS
DE
SC
RIP
CIÓ
N
DE
TALL
E Y
VA
LOR
AC
IÓN Normas de
gestión del gasto
MANUALES DE PROCEDIMIENTO
CRITERIOS DE SELECCIÓN
GRANDES PROYECTOS
Dificultades en la gestión
IDENTIFICACIÓN DE PROBLEMAS
PROPUESTAS PARA MEJORA
NOVEDADES E INNOVACIONES
APORTACIÓN DE REDES SECTORIALES
Información y publicidad
PLAN DE COMUNICACIÓN
MEDIDAS DE PUBLICIDAD
PRUEBADOCUMENTAL
4.3. Seguimiento del avance de las actuaciones
SEGUIMIENTO FINANCIERO DE LAS OPERACIONES
Gasto elegible anual/acumulado Tasa de cofinanciación
Volumen gasto FEDER/FSE anual /acumulado
SEGUIMIENTO FÍSICO DE LAS OPERACIONES
INDICADORES OPERATIVOS Ejecución anual Ejecución acumulada
4.4. Contribución a las Políticas Comunitarias y Nacionales
ESTRATEGIA EUROPEA POR EL EMPLEO
ESTRATEGIA DE LISBOA Y PLAN NACIONAL DE
REFORMAS
Contribución al cumplimiento de los objetivos de la EEE.Atención a las directrices de la EEE.Otros: objetivos de inclusión social, formación o educación.
Contribución a los objetivos de la Agenda Reformada de Lisboa (Economía del conocimiento, competitividad, capital humano y exclusión social, medio ambiente).
Contribución a los objetivos del PNR.
4.5. Contribución a las Prioridades Horizontales
A) Cuidado y protección del Medio Ambiente.
¿Existe incidencia de las operaciones sobre el medio ambiente?
Positiva Negativa
Medidas correctoras
Seguimiento
Localización sobre espacios de la Red Natura
B) Igualdad de Oportunidades entre Hombres y Mujeres.
¿Existe incidencia de las operaciones sobre la igualdad de género?
Análisis previos e indicadores desagregados por sexos.Objetivos explícitos sobre reducción de desigualdades.Medidas de discriminación positiva.Consideración de políticas regionalesCriterios de selección.Unidad de género
Igualdad en la vida económica.Igualdad de participación representación.Igualdad de acceso y disfruto de derechos sociales.Igualdad en la vida civilCambio en los roles y estereotipos preestablecidos
Buena práctica
Generación de impacto positivo
Carácter innovador y uso de las NTICs
Amplitud del colectivo de beneficiarios
Colaboración social
Complementa‐riedad,
sostenibilidad y efecto
multiplicador
4.6. Identificación de Buenas Prácticas
Datos Identificativos
Procedimientos de Gestión
Seguimiento del avance de las actuaciones
Contribución a pol. nacionales y comunitarias
Contribución a las prioridades horizontales
Identificación de buenas prácticas
Logros y avances Información y publicidad
Ejec. por prioridades /Grandes Proyectos
Ejecución por prioridades
Ejecución por prioridades
Ejecución por prioridades
Ejecución por prioridades
Ejecución por prioridades
Inf. sobre conform. con legisl.comunitar.
Complementariedad con otras pol.
Complementariedad con otras pol.
Disposiciones en materia de seguim.
4.7. El Informe Anual de Ejecución
5. EL PROCEDIMIENTO DE EVALUACIÓN
Análisis útil de los resultados y el impacto de los Programas Operativos
Mejora de la calidad, eficacia y coherencia de la ayuda prestada por los Fondos y de la estrategia y la aplicación de los PO por lo que respecta a los problemas
estructurales específicos de los Estados Miembros y regiones afectados, teniendoen cuenta, asimismo, el objetivo de desarrollo sostenible y la legislación comunitaria pertinente en materia de impacto ambiental y evaluación
ambiental estratégica.(Artículo 47.1 del Reglamento (CE) Nº1083/2006)
Obtención y análisis de la
información
Adaptación de laestrategia a las necesidadesregionales
Racionalización dela ejecución de las actuaciones
Aplicación de laslecciones de laexperiencia
Objetivo gene
ral
Objetivos interm
edios
DIFERENTES NIVELES DE EVALUACIÓN (ART. 47.2 R. 1083):
Evaluaciones Estratégicas
Carácter marcroeconómico
Indicadores de contexto.
Indicadores estratégicos
Evaluaciones Operativas
Carácter microeconómico
Indicadores operativos.
Indicadores de alerta
5.1. Evaluación ex–ante (Art. 48.2 del Reglamento (CE) Nº 1083/2006)
Objetivo Elementos claveMomento de realización
Organismos responsables
Optimizar la asignación de los recursos presupuestarios e incrementar la calidad de la programación.
A partir de este análisis se identifican las debilidades y el potencial de desarrollo, se definen los objetivos a alcanzar y su cuantificación, los resultados esperados, la coherencia, así como la estrategia propuesta para la región, el valor añadido comunitario, las lecciones extraídas de anteriores programaciones y la calidad de los procesos de ejecución, seguimiento, evaluación y gestión financiera.
La evaluación ex – ante, ha abordado una serie de elementos de interés:
La medida en la que los Programas contribuyen a la superación de las debilidades de la región. La estructura interna del Programa, de modo que se concluya si la programación de la ayuda es la idónea para lograr los objetivos previstos. La coherencia externa del Programa, es decir, su capacidad para contribuir a cumplir con los objetivos definidos en las diferentes políticas regionales, nacionales y comunitarias relacionadas, con especial atención a las Orientaciones Estratégicas Comunitarias y la Estrategia de Lisboa.
Arranque del diseño de los Programas Operativos.
Autoridad de Gestión
/Evaluador independient
e de las Autoridades del Programa.
5.2. Evaluación continua u on‐going: Evaluación Operativa (Art. 47.1 del Reglamento (CE) Nº 1083/2006)
Objetivo Elementos claveMomento de realización
Organismos
responsables
El Objetivo de la evaluación operativa es valorar de forma constante la ejecución de las medidas previstas y la consecución de los objetivos iniciales e introducir a tiempo los ajustes necesarios que ayuden a alcanzar los mismos.
FASE I. Seguimiento de los indicadores de alertaFASE II. Evaluación por desviaciónFASE III. Evaluación por reprogramación
Se realiza un seguimiento continuo del desarrollo del PO, de modo que cuando se observe una desviación
significativa se inicia el
proceso de evaluación
Autoridad de gestión /Evaluador independiente de las Autoridade
s del Programa.
5.3. Evaluación continua u on‐going: Evaluación estratégica (Art. 47.1 y art. 33 del Reglamento (CE) Nº 1083/2006)
Objetivo Elementos claveMomento de realización
Organismos responsables
Valora la necesidad modificar la estrategia diseñada en los PO como consecuencia de los cambios en el entorno y en las necesidades de la región. Asimismo, valorará la necesidad de adaptación del PO ante cambios en las líneas estratégicas de la Comisión Europea, la Política Nacional o la Política regional que los requiera.Pueden revestir un carácter temático
Inicio de la realización de las políticas recogidas en el Programa (Procedimientos de aplicación y puesta en marcha).Recursos financieros empleados.Indicadores de resultados (miden los efectos inmediatos y directos del Programa Operativo) y de impacto específico sobre beneficiarios últimos (son un subconjunto indicadores de resultados, que ha sido seleccionados porque generan un mayor impacto en los beneficiarios).Efectos de los programas sobre beneficiarios últimos.Valor añadido comunitarioBuenas prácticas.
Se llevarán a cabo cuando lo requieran las necesidades propias del Programa
Operativo, en los términos
establecidos en los Planes de Evaluación. En el caso de las Evaluaciones Temáticas en los momentos determinados por la AG
Autoridad de Gestión
/Evaluador independiente
de las Autoridades del Programa.
EVALUACIONES ESTRATÉGICAS TEMÁTICAS:
Economía del Conocimiento (I+D+i y Sociedad de la Información). Medio AmbienteIgualdad de Oportunidades entre Hombres y Mujeres.Actuaciones dirigidas al colectivo de Inmigrantes por las peculiaridades y dimensión del colectivo
5.4. Evaluación del Plan de Comunicación (Art. 4 del Reglamento (CE) Nº 1828/2006)
Objetivo Elementos claveMomento
de realización
Organismos responsables
Determinar en qué medida se están alcanzando los objetivos programados en el Plan de Comunicación (Art.2 del Reglamento (CE) Nº 1828/2006), los problemas generados en la realización de las líneas de actuación previstas, el impacto generado por dichas actuaciones, etc. en materia de información y publicidad. Asimismo, trata de analizar el alcance que dichas actuaciones tienen sobre el conocimiento que el conjunto de la población posee acerca de los Fondos Estructurales.
Líneas de actuaciónIndicadores de información y publicidad Grupos de destinatarios
Se realizarán
dos evaluaciones, una en 2010 y otra en 2013.
Autoridad de Gestión /Evaluador independient
e de las Autoridades
del Programa.
5.4. Evaluación ex – post
Objetivo Elementos calveMomento de realización
Organismos responsables
Determinar los factores que han contribuido al éxito o al fracaso en la ejecución de los programas operativos e identificar aquellos proyectos que han destacado como buenas prácticas. Con ello se pretende la obtención de conclusiones extrapolables a la Política de Cohesión Económica y Social, desde una perspectiva más amplia.
Elaboración de una evaluación ex – post por cada uno de los objetivos de la Política Regional en el período 2007‐2013: Convergencia, Competitividad Regional y empleo y Cooperación Territorial.
El contenido mínimo de la evaluación ex –post, de acuerdo con la normativa comunitaria, abarca:
Análisis del grado de utilización de los recursos.
Eficacia en la programación de los Fondos
Eficiencia de la programación de los Fondos
Impacto socioeconómico.
La fecha límite para su realización será el 31 de diciembre de
2015
Comisión Europea, con la colabora‐ción de los Estados
Miembros.
Avance de la ejecución financiera Plan Financiero
Avance de la ejecución física Objetivos cuantificados
FUNCIÓN: Proveedores de información para las tareas de seguimiento y evaluación y usuarios de los resultados de dichas tareas.
En el seguimiento
En la evaluaciónCausas de las desviaciones Recomendaciones
Colaboración con el Org. Intermedio
Órg. ejecutores proporcionan informac.
Usuarios de la informac.: Com. Seguim., órg. ejecut, Aut. Gest., CE, eval. ext…
Aut. de Gestión: Carga del sistema de indicadores
6. LA IMPORTANCIA DEL PAPEL DE LOS ÓRGANOS GESTORES PARA AUMENTAR LA UTILIDAD DE LA EVALUACIÓN
RESPONSABILIDAD EN MATERIA DE SEGUIMIENTO:
RESULTADOS ESPERADOS:
Establecimiento de procedimientos claros
Contribución a la elaboración de los Informes Anuales, entre otros.
Contribución al desempeño de las funciones del Com. Seguim.
Contribución a elevar la eficacia y la eficiencia de los PO: identificación puntual de problemas de ejecución.
Recogida de datos de las actividades realizadas: herramientas para el seguimiento (indicadores) y procedimientos eficaces
Análisis inicial de la información recopilada: control continuo de la entrada de información y de su calidad.
Transmisión de los datos al Org. Intermedio: medios electrónicos