JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha...

269
Jornadas de Intercambio de Evaluación [email protected] / [email protected] / [email protected]/ [email protected] JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS PÚBLICAS: Oportunidades, experiencias y recursos de evaluación en Canarias

Transcript of JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha...

Page 1: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS PÚBLICAS:

Oportunidades, experiencias y recursos de evaluación en Canarias

Page 2: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

ÍNDICE DE PRESENTACIONES

1. Presentación de las jornadas. D. Juan Andrés Ligero Lasa.

2. Ponencia: La experiencia de la evaluación en Cabo Verde y Senegal. Dña. Jandira Barros.

3. Mesa Redonda: Perspectivas sobre la evaluación en Canarias:

• D. Daniel Cerdán Elcid. Comisionado de Transparencia y Acceso a la Información Pública(Parlamento de Canarias).

• D. Pedro Pacheco González. Presidente de la Audiencia de Cuentas de Canarias.

• D. Pablo Javier Hernández Bolaños. Director General de la Dirección General de Modernización yCalidad de los Servicios.

4. Ponencia: Contexto, tendencias y situación actual de la evaluación. D. Juan Andrés Ligero Lasa.

5. Taller grupal (dinamizado por equipo formador). Elementos que favorecen el desarrollo de laevaluación.

6. Ventanas de evaluación: Oportunidades de desarrollo e institucionalización de la evaluación enCanarias.

• Diagnóstico de los recursos y herramientas para la evaluación en Canarias: mapa del sistema deevaluación canario. D. Aldo García Borges y D. Óscar Franco Alonso.

• Herramientas para la creación de redes evaluativas. D. Aldo García Borges.

• Ponencia: La evaluación en el Grupo Banco Europeo de Inversiones y lecciones aprendidas en el“Evaluation Cooperativos Group”. Dña. Sonia Vega Vega.

7. Ponencia: Los usos y las posibilidades metodológicas de la evaluación. D. Juan Andrés Ligero Lasa.

Page 3: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

Presentación de las Jornadas

(Juan Andrés Ligero Lasa)

Page 4: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿Qué son las jornadas?

Las jornadas en Canarias suponen el punto final del procesoiniciado en Cabo Verde y Senegal, cuyo objetivo ha sidopromocionar el desarrollo de las potencialidades de la evaluaciónen tres contextos distintos. Para ello, se abordarán experiencias deevaluación de las diferentes administraciones y entidades. Además,las propias Jornadas servirán para incrementar el conocimientosobre los recursos y herramientas de evaluación existentes en elcontexto actual.

Page 5: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Objetivos

Favorecer la aplicabilidad de la evaluación en Canarias, a través delconocimiento de:

• La situación de la evaluación en el contexto canario.

• Herramientas, instrumentos y recursos que favorezcan lascapacidades de evaluación.

Page 6: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de
Page 7: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Capacidad

Capacidad que es única en cada organización, según sutamaño, presupuesto, conjunto de habilidades profesionales yexperiencia y entorno político.

En el ámbito de la filosofía y la sociología, sedenomina agencia a la capacidad que posee un agente (unapersona u otra entidad) para actuar en el mundo.

Page 8: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Trayectoria del proyecto,..

ÉNFASIS

Diagnóstico de las dificultades y límites para el desarrollo de la

evaluación.

Fortalecimiento de las capacidades institucionales para realizar la

evaluación.

Intercambio de experiencias de éxito o estudios de casoque pueden ser implementados en diferentes contextos.

Page 9: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

En resumen

Cómo reforzar las instituciones, lasinterecciones y las capacidades yposibilidades de evaluación.

Page 10: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Equipo

• Juan Andrés Ligero Lasa ([email protected])

Sociólogo con la especialidad de psicología social, tiene formación de postgrado en métodos, en técnicas deinvestigación y en evaluación de proyectos, programas y políticas. Trabaja como profesor en la Universidad Carlos IIIde Madrid y es co-director del Máster en Evaluación de Programas y Políticas Públicas de la UCM (16ª promoción),complementa su labor académica con evaluaciones de políticas y programas.

• Óscar Franco Alonso ([email protected])

Geógrafo, Máster en Evaluación (UCM). Actualmente es tutor del Magíster de Evaluación de Programas y PolíticasPúblicas de la Universidad Complutense de Madrid. Su área profesional en evaluación se desarrolla en laintervención social, desarrollo comunitario, educación, salud y cooperación/educación al desarrollo. Ha participadoen diferentes investigaciones relacionadas con vivienda, salud y colectivos vulnerables.

• Jandira Miranda Barros ([email protected])

Máster en Trabajo Social, tiene, también, formación de postgrado en evaluación de Programas y Políticas Públicas.Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de laRepública de Cabo Verde. Ha sido coordinadora del grado de trabajo social en el "Instituto Superior de CienciasJurídicas e Sociais" y ha enseñado materias relacionadas a las Políticas Sociales y al trabajo social en este instituto yen la Universidad Jean Piaget de Cabo Verde, ambos con sede en Praia.

• Aldo García Borges ([email protected])

Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en Poblaciones Urbanas yPolíticas Sociales (UOC). Actualmente cursa el Máster en Evaluación de Programas y Políticas Públicas de laUniversidad Complutense de Madrid. Su experiencia profesional se ha desarrollado en el área de la cooperación,fundamentalmente en torno a las políticas públicas urbanas. En cuanto a sus líneas de investigación éstas han sido:la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de la innovación urbana.

Page 11: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

• Recoger y analizar sistemáticamente una información para poder determinar el valoro mérito de una intervención (Joint Committee Standards Education). Algo más ampliay matizada es la utilizada por Davidson, Fournier, Stufflebeam, Schwandt, House yScriven que entienden que evaluar algo significa determinar su mérito, valor, calidado el significado (Patton, 38).

• Valoración sistemática de las operaciones o de los resultados de un programa opolítica comparada con un conjunto de estándares implícitos o explícitos como mediopara contribuir a la mejora del programa o política (Weiss,1998: 4).

• La evaluación es el proceso de identificar, obtener y proporcionar información útil ydescriptiva acerca del valor y el mérito de las metas, la planificación, la realización y elimpacto de un objeto determinado, con el fin de servir de guía para la toma dedecisiones, solucionar los problemas de responsabilidad y promover la comprensiónde los fenómenos implicados (Stufflebeam y Shinkfield 1987 cit en Lujan y Puente,1996: 111)

Definición de Evaluación

Page 17: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Rainbow framework

Better Evaluation :https://www.betterevaluation.org/

Page 18: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Ligero, J.A. (2016) Dos métodos de evaluación: criterios y teoría del programa en CAF Laevaluación de políticas. Fundamentos conceptuales y analíticos. Argentina: CAF.http://scioteca.caf.com/bitstream/handle/123456789/1008/Version%20Web%20Evaluacion%20de%20politicas%20.pdf

Page 20: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Propósitos (Greene, 2007)

• Fundamentar la toma de decisiones en la rendición de cuentas(responsabilización, accountability), o sea, dar respuesta a lasnecesidades informativas e intereses de los responsables políticos u otrosactores con capacidad de decisión.

• Mejorar el programa y el desarrollo organizacional porque proporcionainformaciones valiosas para los directivos u otros responsables de lasoperaciones habituales del programa.

• Comprensión en profundidad y contextualizada del programa y de susprácticas, pues atiende a las necesidades informativas y de interés delpersonal de los programas y también de los participantes.

• Promover más justicia y equidad en los programas y en el contexto quese evalúa, pues sirve usualmente a los intereses de los participantes, susfamilias y la comunidad.

Page 21: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

MEJORA CONTINUA Bucle de la calidad (Edward Deming)

Planificación Mejora

Medición

Acción

MEJORA Y APRENDIZAJE

EXCELENCIA

Page 22: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Con el taller se pretende responder a estas cuestiones

C1. ¿Qué tenemos?

¿Qué deberíamos tener?

C2. ¿Qué procesos evaluativos tenemos?

¿Qué procesos deberíamos tener?

C3. ¿Qué nos da la Evaluación?

¿Qué podemos esperar de la Evaluación?

Page 23: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La tierra El trabajo Los frutos

Org

aniz

acio

nes

Esfe

ra g

ener

al,

esp

acio

co

n

Estructura Procesos Resultados

Page 24: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La tierra = estructura

• Los medios que se necesitan para “cultivar”la evaluación”

• Presupuesto

• Leyes

• Diseño orgánico de la función de evaluación

• Capacitación del personal

• Cultura y actitud evaluativa

• …

Page 25: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

El trabajo = procesos

Procesos estratégicos

• Necesidades estratégicas de Evaluación

• Gestion de la toma de decisiones políticas

Procesos operativos

• Identificación de necesidades

• Licitación o realización interna de las evaluaciones.

• Gestión de las evaluaciones.

• Apropiación, utilización de las evaluaciones.

Procesos de apoyo

• Capacitación en evaluación

• Difusión / comunicación

• …

Lo que tengo que hacer para promover, realizar y utilizar evaluaciones.

Page 26: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Los frutos = resultados

Lo que obtengo: evaluaciones, mejores políticas, más democracia...

Productos Resultados

Términos de referencia Idea compartida sobre políticas

Evaluaciones Cambios, mejora de las políticas

Recomendaciones Información pública

Mejores políticas Decisiones políticas más sustentadas

… …

Page 27: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Desarrollo de capacidades: ¿Dónde?

• Esfera general, espacio común:

Cultura política, espacios de relación entre diferentesadministraciones, comunicación entre diferentes actores(sociedad, administración...) Ejemplos: rendición públicade cuentas, publicación en prensa, toma de decisionespolíticas...

• Esfera de las organizaciones:

Unidades administrativas, entidades, empresas,programas, proyectos…

Page 28: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La tierra El trabajo Los frutos

Org

aniz

acio

nes

Esfe

ra g

ener

al,

esp

acio

co

n

Estructura Procesos Resultados

Page 29: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

En resumen

Cómo reforzar las instituciones, lasinterecciones y las capacidades yposibilidades de evaluación.

Page 31: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

LA EXPERIENCIA DE LA EVALUACIÓNenCabo Verde Y Senegal

Jandira Barros

Page 32: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

HOLA!

Jandira Barros

- Trabajadora Social

- Evaluadora

- Miembro del equipo dinamizador del

intercambio para la institucionalización

de la evaluación

32

Page 33: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

PROYECTO GOBAB

Reflexionar sobre los procesos de cambio para

el refuerzo de la evaluación en 3 territorios –

Cabo Verde, Senegal y Canarias.

Page 34: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

▰Cual es la situación y cuales son las posibilidades?

34

Page 35: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

35

Page 36: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

36

Evaluación Exigencia de organismos internacionales

Adopción de métodos de gestión por

resultados

Page 37: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

37

CABO VERDE

Page 38: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Cuadro Actual

▰ Estructura

▰ Procesos

▰ Resultados

38

Page 39: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Estructura

Leyes

▰ Ley de la

Modernización

Administrativa

(2004)

▰ Ley de Bases del

Régimen de la

Función Pública

(2009)

▰ Ley de Evaluación

de Desempeño

Sistemas

▰ SGQ ISO 9001(2012)

▰ Sistema evaluación

desempeño (2014)

▰ Centro CAF (2013)

39

Agentes

▰ DNAP

▰ Serviço de

Seguimento e

Avaliação (MF)

▰ NOSI (Núcleo

Operacional para a

Sociedade de

Informação)/INE

▰ Profesionales con

alguna formación

Page 40: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

40

PROCESOS

❑ Sesiones de Formación en

Evaluación de

Desempeño - (DNAP)

❑ Evaluación para nuevos

financiamientos de ONG

❑ Preparación Informes

ODM/ODS

❑ Demanda de organismos

de cooperación

Page 41: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Evaluación = Control Subjetivo

41

Cierto rechazo – se vincula la evaluación a la fiscalización

Ausencia de control. Las estructuras nacionales no tienen el control del cuando,porque y para qué los procesos de evaluación

Evaluaciones parciales. Evaluaciones limitadas a criterios de los organismosfinanciadores

Page 42: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

42

Fortalecer la Red de ProfesionalesFormación específica y vinculación a otras redes profesionales

Realizar Evaluaciones-Piloto

(Producción y difusión de evaluaciones de calidad)

Definir Recursos(parte de fundos de políticas)

Crear una Unidad de Coordinación(Puntos focales)

Propuestas para incorporar la Evaluación como práctica sistemática

Formación “On Job”(aprender haciendo)

Page 43: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

43

SENEGAL

Page 44: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Evaluation Capacity Agenda – GG

44

• DPN (gestiona

evaluaciones desde TDR a

informe)

• DREAT (Delegación para a

Reforma del Estado y

Asistencia Técnica) - BOM

• Comisión para la

Evaluación y Monitoria

• SenEval (2003/UN)

• Clear (CESAG)

Page 45: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

45

+ de 90 Evaluaciones

“La Evaluación es una práctica Madura”

+ Focalizado en control financiero

Lomeña-Gellis, 2013

Page 46: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

2814267 ¡Reforzar la demanda por evaluación!

¡Incrementar recursos!

!Reforzar la SenEval!

46

Page 47: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Retos

Institucionales

▰ Mejor definición de

responsabilidades y

Estructura

Coordinadora

▰ Mayor sinergia y

complementariedad

47

Organizacionales

▰ Deficiencias de capacitación

▰ Ausencia de sistema de comunicación de resultados

▰ Problemas de uso

Individual

Capacidades

limitadas

Page 48: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

48

.

Intención

- Made in Africa Evaluations

Metodologías adoptadas – adaptadas (Marvin Alkin):

Evaluaciones rurales participativas

“Cambio significativo” – Rastrear resultados

Mecanismo Africano de Evaluación por Pares (APRM)

Nuevos actores - Norte/SUL

Page 49: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

49

“Quedan muchas preguntas (...) el debate sobre la revisión entre pares abrió un

espacio para que las organizaciones de la sociedad civil de África busquen y

establezcan procesos análogos para que los gobiernos y los líderes africanos rindan

cuentas de los compromisos asumidos y de sus decisiones. Quizá, es aquí donde se

podría encontrar la mayor esperanza de que haya una rendición de cuentas y una revisión eficaz.” (Cilliers, Institute for Security studies, 2002:14)

Page 51: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Mesa redonda: Perspectivas sobre la evaluación en Canarias

• Daniel Cerdán Elcid, Comisionado de Transparencia yAcceso a la Información Pública (Parlamento de Canarias).

• Pedro Pacheco González, Presidente de la Audiencia deCuentas de Canarias.

• Pablo Javier Hernández Bolaños, Director General de laDirección General de Modernización y Calidad de losServicios.

Page 52: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Comisionado de Transparencia y Acceso a la Información Pública de Canarias

EVALUACIÓN DE LA TRANSPARENCIA:

UN CAMINO PARA LA EVALUACIÓN

DE LAS POLÍTICAS PÚBLICAS

Mesa redonda: Perspectivas sobre la evaluación en Canarias

‘Jornadas de intercambio sobre evaluación de políticas públicas’

Page 53: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

53

"Sí, como lo cuentas, cuenta".

29/05/2019

Page 54: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

54

ISí, como lo cuentas, cuenta.

En la transparencia cuenta el quien se es,el quien hace o deshace quéo dice que hará.

Cuenta tanto el donde del qué como su cuándo y su cuánto, Y tanto su costo y su cómo.

29/05/2019

Page 55: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

55

IIEn la rendición de cuentas cuenta, además, un plan y su horizonte, el punto qué se alcanzó, el qué no, y el que entregó el azar.

El porqué asíY el porque nó asao.

29/05/2019

Page 56: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

56

IIISí, como lo cuentas, cuenta.Cuenta el quién qué, cómo, costo, cuándo, cuánto y porqué.Si falta el qué, es apariencia. Si falta el resto, mera ocurrencia. Si exceso del qué, propaganda.

Y es excelencia si todo se traza, a instancia de quien, a modo y a santo de qué, y aflora a la luz cuando se demanda.

29/05/2019

Page 57: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

¿QUÉ ENTIDADES TIENEN LA

OBLIGACIÓN DE PUBLICAR

INFORMACIÓN?

Sujetos obligados

Page 58: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

29/05/2019 58

Artículo 2.1 de la

Ley 12/2014

Sujetos obligados

Administración pública de la Comunidad

Autónoma de Canarias

Cabildos insulares y

ayuntamientos

Universidades públicas

Organismos autónomos, entidades

empresariales y entidades de

Derecho público

Sociedades mercantiles,

fundaciones y consorcios

Asociaciones constituidas por los organismos

previstos en este apartado

Sujetos obligados

Page 59: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

29/05/2019 59

Artículo 3.1 de la

Ley 12/2014

Sujetos obligados

Partidos políticos

Organizaciones sindicales

Organizaciones empresariales

Entidades privadas

(superior a 60.000 €)

Entidades privadas (30%

del total de ingresos anuales y

mínimo de 5.000 €)

Sujetos obligados

Page 60: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

29/05/2019 60

« Lo que no se define no se puede medir.

Lo que no se mide no se puede mejorar. Lo que no se mejora se degrada siempre. »

William Thomson Kelvin

Page 61: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Mapas de Obligaciones de publicidad activa (I)

6129/05/2019

Tipo de información

Inst

itu

cio

nal

Org

aniz

ativ

a

Pe

rso

nal

de

lib

re n

om

bra

mie

nto

Emp

leo

en

el s

ect

or

blic

o

Ret

rib

uci

on

es

No

rmat

iva

Serv

icio

s y

pro

ced

imie

nto

s

Eco

mic

o-f

inan

cier

a

Pat

rim

on

io

Pla

ne

s y

pro

gram

as

Ob

ras

blic

as

Co

ntr

ato

s

Co

nve

nio

s y

en

com

ien

das

de

ge

stió

n

Co

nce

sio

nes

de

se

rvic

ios

blic

os

Ayu

das

y s

ub

ven

cio

ne

s

Ord

en

ació

n d

el t

err

ito

rio

Esta

dís

tica

De

rech

o d

e a

cce

so

Tota

l ge

ne

ral

Comunidad Autónoma

9 11 6 7 7 15 8 23 7 7 2 22 20 1 8 5 3 4 165

Cabildos 12 11 5 8 8 12 9 23 7 8 2 21 16 1 5 1 1 3 153

Ayuntamientos 12 11 5 8 8 12 9 23 7 8 2 21 16 1 5 1 1 3 153

Universidades 6 11 6 7 7 9 8 15 6 7 2 22 19 1 5 1 4 136

Mapa de obligaciones

Page 62: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Mapas de Obligaciones de publicidad activa (II)

6229/05/2019

Tipo de información

Inst

itu

cio

nal

Org

aniz

ativ

a

Pe

rso

nal

de

lib

re n

om

bra

mie

nto

Emp

leo

en

el s

ect

or

blic

o

Ret

rib

uci

on

es

No

rmat

iva

Serv

icio

s y

pro

ced

imie

nto

s

Eco

mic

o-f

inan

cier

a

Pat

rim

on

io

Pla

ne

s y

pro

gram

as

Ob

ras

blic

as

Co

ntr

ato

s

Co

nve

nio

s y

en

com

ien

das

de

ge

stió

n

Co

nce

sio

nes

de

se

rvic

ios

blic

os

Ayu

das

y s

ub

ven

cio

ne

s

Ord

en

ació

n d

el t

err

ito

rio

Esta

dís

tica

De

rech

o d

e a

cce

so

Tota

l ge

ne

ral

OOAA y EEPP de cabildos

3 6 5 6 8 8 10 1 7 2 21 16 1 5 1 3 103

Sociedades mercantiles de universidades

3 6 4 6 6 6 7 22 18 1 5 1 4 89

OOAA y EEPP de la CAC

3 6 5 7 7 8 10 1 7 2 22 18 1 5 1 4 107

OOAA y EEPP de universidades

3 6 5 7 7 8 10 1 7 2 22 18 1 5 1 4 107

Asociaciones públicas

6 8 3 7 7 6 12 4 7 21 7 1 3 92

Mapa de obligaciones

Page 63: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Mapas de Obligaciones de publicidad activa (III)

6329/05/2019

Tipo de informaciónIn

stit

uci

on

al

Org

aniz

ativ

a

Pe

rso

nal

de

lib

re

no

mb

ram

ien

to

Emp

leo

en

el s

ect

or

blic

o

Ret

rib

uci

on

es

No

rmat

iva

Serv

icio

s y

pro

ced

imie

nto

s

Eco

mic

o-f

inan

cier

a

Pat

rim

on

io

Pla

ne

s y

pro

gram

as

Ob

ras

blic

as

Co

ntr

ato

s

Co

nve

nio

s y

en

com

ien

das

de

ge

stió

n

Co

nce

sio

nes

de

se

rvic

ios

blic

os

Ayu

das

y s

ub

ven

cio

ne

s

Ord

en

ació

n d

el t

err

ito

rio

Esta

dís

tica

De

rech

o d

e a

cce

so

Tota

l ge

ne

ral

Fundaciones y consorcios de la CAC

3 6 4 6 6 7 7 22 18 1 5 1 4 90

Sociedades mercantiles de cabildos

3 6 4 5 7 6 6 21 16 1 5 1 3 84

Sociedades mercantiles de la CAC

3 6 4 6 6 6 7 22 18 1 5 1 4 89

Fundaciones y consorcios de universidades

3 6 4 6 6 7 7 22 18 1 5 1 4 90

Fundaciones y consorcios de cabildos

3 6 4 5 7 7 6 21 16 1 5 1 3 85

Mapa de obligaciones

Page 64: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

¿CÓMO SE EVALÚA EN CANARIAS?

Índice de Transparencia de Canarias(ITCanarias)

Page 65: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Índice de Transparencia de Canarias

(ITCanarias)

6529/05/2019

ITCanarias

ICPA

ICIO ICS

ITV

Nota: El ICPA es uno de los dosindicadores que establece MESTA,la metodología desarrollada por elCTBG y la AEVAL.

Nota: El ITV surge como laevaluación de buenasprácticas de transparenciano contempladas en lalegislación.

Metodología de evaluación

Page 66: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

29/05/2019 66

Indicador de Cumplimiento en

Publicidad Activa

(ICPA)

Metodología de evaluación

Page 67: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Cumplimiento en

Publicidad Activa (ICPA) (I)

6729/05/2019

ICPAGrado de cumplimiento en

relación a las obligaciones de transparencia en publicidad

activa

ICSGrado de cumplimiento de las obligaciones con

respecto al soporte donde residen

ICIOGrado de cumplimiento de las obligaciones en la

publicación y el contenido

Metodología de evaluación

Page 68: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Cumplimiento en

Publicidad Activa (ICPA) (II)

6829/05/2019

Indicador de Cumplimiento de la Información Obligatoria (ICIO)

Contenido

Forma de publicación

Actualización

Accesibilidad

Reutilización

Indicador de Cumplimiento del Soporte web (ICS)

Lugar de publicación

Accesibilidad web

Estructura

Buscador interno

Metodología de evaluación

Page 69: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Cumplimiento de la

Información Obligatoria (I)

Para obtener el ICIO se deben seguir los siguientes pasos:

1. Se valoran los cinco criterios para cada obligación de 0 a 100.

2. Se suman todos los criterios, multiplicados por el peso

correspondiente:

3. Se divide la suma ponderada entre 100.

4. Se halla la media de todas las obligaciones de la entidad.

6929/05/2019

Criterio ContenidoLugar de

publicaciónActualización Accesibilidad Reutilización

Peso 40% 5% 30% 5% 20%

Metodología de evaluación

Page 70: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Cumplimiento del

Soporte web

Para calcular el ICS se deben seguir los siguientes pasos:

1. Se valoran los 4 criterios.

2. Se suman todas las puntuaciones de los criterios.

3. Se divide la suma entre 400.

7029/05/2019

Nota: Cada criterio del ICS pesa un 25 % de lanota final del indicador, lo que equivale amultiplicar cada criterio por ¼. Por eso sedivide entre 400.

Metodología de evaluación

Page 71: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Cumplimiento en

Publicidad Activa (ICPA)

7129/05/2019

ICPA

30% ICS

70% ICIO

Metodología de evaluación

Page 72: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

7229/05/2019

Pero, recordamos que el ITCanarias se obtiene de la suma de

dos indicadores:

Índice de Transparencia de Canarias (ITCanarias)

ICPA ITVITCanaria

s

Metodología de evaluación

Page 73: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

29/05/2019 73

Indicador de Transparencia

Voluntaria

(ITV)

Metodología de evaluación

Page 74: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Transparencia

Voluntaria (ITV) (I)

7429/05/2019 Metodología de evaluación

ITV

Informe anual

Ordenanza, reglamento o protocolo de

Transparencia

Información sobre las leyes

de transparencia

Enlace al Comisionado de Transparencia

Sistema de medición de

visitas al portal de Transparencia

Adecuada colaboración con el Comisionado

de Transparencia

Se valoran estas seis buenas prácticas.

Page 75: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Transparencia

Voluntaria (ITV) (II)

Para calcular el ITV se deben seguir los siguientes pasos:

1. Todas las prácticas se puntúan con un 1 si se cumplen o un 0 si

no, salvo la 6ª.

2. Para valorar la 6ª se tiene en cuenta la fecha de remisión de la

información de transparencia al Comisionado:

7529/05/2019 Metodología de evaluación

Plazos de

remisión

Plazo

ordinarioPrórrogas

Puntuación 1Disminuirá en función del

número de prórrogas dadas

Page 76: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Indicador de Transparencia

Voluntaria (ITV) (III)

7629/05/2019 Metodología de evaluación

ITV

40 % 2ª, 3ª, 4ª y

60 % 1ª y 6ª

Page 77: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

APLICACIÓN T-CANARIA Autodiagnóstico y evaluación del Índice

de Transparencia de Canarias

Page 78: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Aplicación T-Canaria (I)

7829/05/2019 Aplicación T-Canaria

Mediante Resolución de 22 de diciembre de 2017, aprobamos laaplicación telemática sobre el Índice de Transparencia de Canarias(ITCanarias) con el siguiente propósito:

« A fin de normalizar y coordinar el cumplimiento a las obligacionesde información sobre transparencia, se ha elaborado un algoritmo enuna aplicación telemática para recopilar la información necesaria delos sujetos obligados y facilitar su posterior tratamiento por parte delComisionado de Transparencia, a la vez que permite su propiaautoevaluación a las entidades públicas. »

Page 79: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Aplicación T-Canaria (II)

7929/05/2019 Aplicación T-Canaria

Page 80: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Aplicación T-Canaria (III)

8029/05/2019 Aplicación T-Canaria

El proceso de evaluación en la aplicación consta de seis fases:

1. Autorizaciones de los usuarios para cargar y/o remitir la

información.

2. Cumplimentación de los cuestionarios y

autoevaluación.

3. Remisión de los cuestionarios.

4. Evaluación provisional.

5. Alegaciones.

6. Evaluación definitiva.

Page 81: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Aplicación T-Canaria (IV)

8129/05/2019 Aplicación T-Canaria

Para la evaluación de la transparencia cada entidad debecontestar tres cuestionarios implementados en la aplicación:

Page 82: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Cuestionario General de

transparencia

8229/05/2019 Aplicación T-Canaria

En este cuestionario la entidad debe responder una serie depreguntas de control sencillas sobre su transparencia, entre lasque se incluyen las seis buenas prácticas del Indicador deTransparencia Voluntaria (ITV). Además, podrá realizar cualquieraclaración que considere oportuna sobre el mismo.

Page 83: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Cuestionario de acceso a la

información pública (I)

8329/05/2019 Aplicación T-Canaria

En este cuestionario se solicitan las estadísticas de solicitudes dederecho de acceso que ha recibido la entidad por estado detramitación en filas y tipos de información en columnas.

Page 84: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Cuestionario de acceso a la

información pública (II)

8429/05/2019 Aplicación T-Canaria

Para cumplimentarlo:

• Seleccione el botón verde

situado a la izquierda de cada

estado de tramitación.

• Indique el número de

solicitudes correspondiente

por tipo de información.

Page 85: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Cuestionario de publicidad

activa

8529/05/2019 Aplicación T-Canaria

Este cuestionario está preparado para recoger la información depublicidad activa de la entidad. Está formado por cuatro pestañas:Obligaciones, Soporte web, Evaluación ITCanarias y Evaluación LeyEstatal.

Page 86: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Pestaña Obligaciones

8629/05/2019 Aplicación T-Canaria

Para cumplimentarla

• Seleccione el botón

naranja a la izquierda de

cada tipo de información.

• Para cada obligación

indique la url donde la

publica y autoevalúe sus

características.

Page 87: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Pestaña Soporte Web

8729/05/2019 Aplicación T-Canaria

Se realiza una serie depreguntas organizadas encuatro bloques: Accesibilidadweb, Lugar de publicación,Estructura y Buscador.

Para cumplimentarla,responda a las preguntasrelacionadas en cada bloque.

Page 88: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Pestaña Evaluación ITCanarias

8829/05/2019 Aplicación T-Canaria

Se comparan los indicadores ICIO, ICS, ICPA, ITV e ITCanarias de laautoevaluación y de la evaluación de la entidad.

Page 89: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Pestaña Evaluación Ley Estatal

8929/05/2019 Aplicación T-Canaria

Se comparan los indicadores ICIO, ICS e ICPA de la autoevaluacióny de la evaluación de la entidad, teniendo en cuenta solo la Ley19/2013.

Page 90: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

EVALUACIÓN DE LA

TRANSPARENCIA EN PUBLICIDAD

ACTIVA EN CANARIAS

2017

Page 91: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Entidades evaluadas

9129/05/2019 ITCanarias 2017

El censo de entidades públicas canarias sujetas a transparencia en el

ejercicio 2017 ascendió a 345 sujetos obligados. A todos ellos se les requirió

la participación en el proceso y, finalmente, 209 entidades colaboraron con

el Comisionado de Transparencia:

- La Administración Pública de la Comunidad Autónoma de

Canarias.

- Los siete cabildos insulares.

- Los 88 ayuntamientos.

- Las dos universidades.

- 111 entidades dependientes de las 98 Instituciones anteriores.

Page 92: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Entidades evaluadas: intervalo de notas

9229/05/2019 ITCanarias 2017

Page 93: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

« Caminante no hay camino,

se hace camino al andar. »

9329/05/2019 Futuro de la Transparencia

Page 94: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

GRACIAS POR SU ATENCIÓN

Comisionado de Transparencia y Acceso a la Información Pública de Canarias

[email protected]

http://transparenciacanarias.org/

@ComisionadoTC

Page 95: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

JORNADAS DE INTERCAMBIODE EVALUACIÓN DE POLÍTICAS PÚBLICAS

Perspectivas sobre evaluación en Canarias

Santa Cruz de Tenerife 24 de Abril 2019

Page 96: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

▪Escenario actual

▪Valorización de la contabilidad

2

Page 97: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Normativa estatal general

▪ Constitución Española.

▪ Ley 40/2015, de Régimen Jurídico del Sector Público.

▪ Ley 39/2015, del Procedimiento Administrativo Común de las Administraciones Públicas.

▪ Ley Orgánica 2/2012, de Estabilidad Presupuestaria y Sostenibilidad Financiera.

▪ Ley Orgánica 6/2013, de la Autoridad Independiente de Responsabilidad Fiscal.

▪ Ley 47/2003, General Presupuestaria.

▪ Ley 19/2013, de transparencia, acceso a la información pública y buen gobierno.

3

Page 98: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Normativa Canaria▪ Ley Orgánica 1/2018, de reforma del Estatuto de Autonomía de

Canarias.

▪ Ley 11/2006, de la Hacienda Pública Canaria.

▪ Ley 12/2014, de transparencia y de acceso a la información pública.

▪ Ley 4/1989, de la Audiencia de Cuentas de Canarias.

▪ Ley 7/2001, del Diputado del Común.

▪ Ley 14/1990, de Régimen Jurídico de las Administraciones Públicas Canarias.

▪ Decreto 212/1991, de organización de los Departamentos de la Administración Autonómica de Canarias.

▪ Decreto 4/2009, Reglamento de Organización y Funcionamiento de la Intervención General.

▪ Decreto 382/2015, Reglamento Orgánico de la Consejería de Presidencia, Justicia e Igualdad.

▪ Decreto 68/2015, Innovación y mejora de los servicios públicos de la

Administración Pública de la Comunidad Autónoma de Canarias 4

Page 99: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

¿Quién evalúa?▪ Instituto para la Evaluación de Políticas Públicas y de la Dirección

General de Gobernanza Pública

▪ ANECA.

▪ INECSE

▪ Agencia de Calidad del Sistema Nacional de Salud

▪ ANEP

▪ Oficina Nacional de Evaluación

▪ Tribunal de Cuentas del Reino

▪ OCEX

▪ Secretarias Generales de Ministerio y Consejerías

▪ Intervención general del Estado y de Comunidades Autónomas

▪ Consejo de Transparencia Estatal, Comisionado Canario y Síndic de Greuges de Catalunya

▪ Órganos específicos de comunidades autónomas.5

Page 100: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

ESCENARIO RESULTANTE

▪ Esta normativa presenta un panorama de concurrencia de competencias.. Multitud deórganos, descoordinación, desvinculación, falta de notoriedad, etc.

▪ En la verificación del cumplimiento de los principios de eficacia y eficiencia en la gestióneconómica y financiera de las administraciones públicas, función que deben ejecutar losórganos de control interno y externo, comprobamos que muchos de los informes deauditoría operativa o de evaluación de políticas públicas, limitan el alcance de su trabajopor la escasez de información relevante para poder emitir opinión sobre los citadosprincipios.

▪ La evaluación requiere disponer de una gran variedad de datos fiables y consistentes. Unsistema de información para la evaluación se hace esencial. Esta función la puededesempeñar la contabilidad pública, mediante un desarrollo normalizado de la clasificaciónfuncional del gasto, desglosando al detalle de políticas, programas y servicios públicos.

▪ Falta de presencia de la evaluación en los temarios de pruebas de acceso

▪ La pregunta que surge es: ¿dónde termina el ámbito de la auditoría operativa y dondeempieza el de la evaluación? O quizá son la misma cosa. ¿Puede realizarse una evaluaciónde una política pública sin analizar sus costes presupuestarios o sus ingresos?

Page 101: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

7

SUFICIENCIA DE LA INFORMACIÓN CONTABLE TRADICIONAL PARA MEJORAR LA CALIDAD DE LOS SERVICIOS Y POLÍTICAS PÚBLICAS?

▪ La información económica, presupuestaria y financiera es poco relevante para la adopciónde decisiones en relación con la calidad de las políticas y de servicios públicos.

▪ Los responsables públicos en materia de educación, sanidad, vivienda, urbanismo, serviciossociales, etc., no utilizan este tipo de información para mejorar el grado de satisfacción delas necesidades de la ciudadanía.

▪ Actualmente el control no está satisfaciendo adecuadamente las necesidades deinformación de los gestores. Es habitual observar que los gestores crean servicios decontrol de gestión, al margen del centro directivo responsable del control. El control que selimita únicamente a denunciar irregularidades contables o de legalidad no sirve a lasdemandas actuales de los gestores.

▪ El control debe proporcionar, además, información útil y opinar sobre los resultados de la gestión del responsable político.

▪ La contabilidad pública tradicional se ha limitado a ofrecer información financiera y de ejecución presupuestaria.

▪ La contabilidad basa su esencia en la unidad de cuenta monetaria.

Page 102: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

▪ En este nuevo marco se debe evolucionar desde un sistema de unidad de cuenta hacia la multiplicidad de unidades de cuentas.

▪ Ha de hacerse un esfuerzo importante para definir criterios, principios y reglas de contabilidad que ayuden a definir este nuevo sistema de información.

▪ La clasificación funcional del presupuesto de gastos debe normalizarse, a nivel detodas las administraciones públicas, para facilitar la identificación del gastopresupuestario destinado a una política o servicio público en concreto, por elconjunto de las Administraciones Públicas.

▪ El traje de la contabilidad de las empresas privadas no encaja satisfactoriamentecomo herramienta para la obtención de información relevante para losresponsables de la gestión pública.

▪ Los gestores públicos, los parlamentarios, los ciudadanos, demandan mucha más información que la estrictamente monetaria.

▪ La evaluación de la gestión pública exige contar con información heterogénea y variada: estadísticas, encuestas de satisfacción, informes especializados, etc.

REDEFINICIÓN DE LA CONTABILIDAD PÚBLICA

Page 103: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

▪ Orientar la actividad de los responsables hacia la evaluación del funcionamiento de lasAdministraciones públicas como tarea principal.

▪ Evolucionar en la redefinición de la contabilidad pública, huyendo de los principios de lacontabilidad privada, para establecer principios, normas y criterios orientados a la obtenciónde información relevante para la mejora de los resultados de la gestión pública, y de lacalidad de los servicios públicos.

▪ Establecer los procesos, técnicas y métodos para que la ejecución de la función de control dela gestión económica y financiera de las AAPP evolucione hacia la evaluación de las políticasy los servicios públicos.

▪ El estado de desarrollo tecnológico actual posibilita el diseño de sistemas de información conmultiplicidad de unidades de cuenta. Contabilidad pública multidimensional.

▪ Acometer la sistematización de los procesos, imprescindible para la informatización.

▪ Establecer acuerdos y convenios que definan los indicadores aceptados por el conjunto delos agentes públicos, para la evaluación de todos y cada uno de los servicios y políticaspúblicas.

▪ Diseñar y establecer el sistema de información que soporte y gestione esta nuevaorientación.

▪ Garantizar la disponibilidad de datos para todos los actores sin más límite que el legal.

Objetivos

Page 104: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

10

Sistema de información común para evaluar

¿?

PARLAMENTOTRIBUNAL DE

CUENTAS AEAT/ATC

ISTAC/INE/EURO STAT

AIReF

CONSEJERÍA DE

PRESIDENCIA

GOBCAN

COMUNIDAD

AUTÓNOMA DE

CANARIAS

AYUNTAMIENTOS

CABILDOS

FORMAR JUICIO CON CALIDAD SUFICIENTE PARA

VALORAR UN INTERVENCIÓN PÚBLICA

META

Rendición de cuentas telemáticas

Indicadores de gestión

Rendición de cuentas telemáticas

Indicadores de gestión

Rendición de cuentas telemáticas

Colaboración mutua

Información socio‐económica

Información estadística

UNIVERSIDADES

Rendición de cuentas telemáticas

Indicadores de gestión

Colaboración mutua

Colaboración mutua

CES: Consejo Económico y SocialISTAC: Instituto Canario de EstadísticaAIReF: Autoridad Independiente de Responsabilidad Fiscal

CIEFCAC : Central de Información Económica y Financiera Canaria

EUROSTAT: Oficina Europea de Estadística

En Funcionamiento

En proyecto

CIEF Mº HACIENDA/

CIEFCAC

Colaboración mutua

AUDIENCIA DE

CUENTAS

GRAFCAN

Page 105: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Ponencia Marco

Contexto, tendencias y situación actual de la evaluación

Juan Andrés Ligero Lasa.

Co-director del Máster en Evaluación de Programas y Políticas Públicas (UCM)

Page 109: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Primeros años del siglo XX

Siglo XIX (final), existe un volumen suficiente deevaluaciones, lo que permite identificar un primerpunto de partida de la disciplina.

Siglo XX (principios) test estandarizados.

en 1942, Ralph Tyler, evaluación orientada porobjetivos.

Los criterios con los se juzga la acción ya no son patronesfijos, absolutos y externos, pero toman como referencia losobjetivos definidos para cada unidad.

Page 110: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

La crisis positivista

• En los años 50 la idea de la evaluación aparece como disciplinacientífica para la gestión de los asuntos políticos.

• Al final de los años 60, a pesar de las expectativas, la evaluaciónno consiguió el ideal de la época de convertirse en elinstrumento científico para la toma de decisiones.

• Surgen críticas pero también soluciones.

Page 111: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Modelos, aproximaciones

• Modelo neo-tyleriano, incluyendo la propuesta de Stake formuladaen el "Countenance Model” (1967).

• Modelo de evaluación basado en la discrepancia (Provous, 1967).

• Modelos orientados a la decisión como el CIPP (Stufflebeam 1967).

• Modelos orientados a los efectos de los programas, como “Goals-free evaluation" (evaluación libre de objetivos) (Scriven, 1973).

• Modelos de neo-medida, de experimentación social (Boruch 1974,Campbell 1969, Rivlin & Timpane, Rossi y Williams 1972).

• Modelos de crítica y experticia de Eisner.

Page 112: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

1. Ampliación de la mirada al objeto

Se va de los objetivos a los resultados; surge el concepto de cajanegra; los procesos emergen.

MECANISMOS

PROCESOS

Objetivos – resultados – procesos – estructura –enfoque completo: modelo lógico con perspectiva sistémica

Page 113: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Estructura

La estructura es la organización relativamente estable de

diferentes tipos de recursos para alcanzar los objetivos

del proyecto. Distingue recursos y organización.

Proceso

Secuencia de actividades que genera un valor en relación a una

determinada situación inicial.

Resultados

Cambios en la población

o en las poblaciones.

Modelo Lógico con perspectiva sistémica

Page 115: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

2.1 La manera de dar valor a las cosas

Juicio por el evaluador/a:objetivista, estandarizado

Juicio por pluralidad de actores: orientación a stakeholders, 4ª generación, pluralista, participativa (instrumental)...

60`

Page 116: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

3. La legitimidad de lo cualitativo

Programa Cualitativo

Cuantitativo

Page 117: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

4. ¿Se usa? ¿Es útil?

Surgimiento de la preocupación por el uso. MichaelPatton publicó, en 1978, Evaluation OrientedUtilization, donde propone dar una respuestaintencional a las necesidades de evaluación de undeterminado grupo de destinatarios (primaryintended users).

Page 118: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

− Cursos de formación universitaria

− Publicaciones

− Estándares de evaluación de programas (Joint Committee on

Standards for Education) (1981)

− 1984 Se funda la American Evaluation Society

− Se crean entidades para certificar a los evaluadores

− Recorte de las políticas y, por tanto, de las evaluaciones - Thatcher

(1979) y Reagan (1981)

− Extensión de test estandarizados...

Curiosamente, el evaluador que creía que las puntuaciones de los testde los alumnos ya habían sido superadas como el único criterio de éxitoestaba ahora enfrentando más test estandarizados que antes (House).

Los 80' profesionalización

Page 119: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

p.e.:Test estandarizados

p.e.:Test estandarizados

Volvemos al muelle

Page 120: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

5. Cambio del locus de control…

Las administraciones educativas crean sus propios gabinetes deevaluación o certificación para evaluadores:

“evaluation had become too important to be left to the evaluators,and large bureaucracies developed their own evaluation office”(House)

LOCAL ESTATAL

Page 121: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

6. Cambio de los destinatarios

Propósitos evaluativos Actores que los requieren

Toma de decisiones y rendición de

cuentas (responsabilización,

accountability)

Responsables políticos u otros actores con

capacidad de decisión.

Mejora del programa y desarrollo

organizacional

Dirección u otros/as responsables de las

operaciones habituales del programa.

Comprensión del programa Personal del programa y, a veces, también

los/las participantes.

Justicia e igualdad social Participantes, sus familias y la comunidad

Jennifer Greene

Gerentes, responsables

Líderes poíticos

Page 122: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

7. También ¿cambio en los propósitos?

¿ Mejora vs accountability?Jennifer Greene

Discusión entre otros Cronbach y Scriven

Propósitos evaluativos Actores que los requieren

Toma de decisiones y rendición de

cuentas (responsabilización,

accountability)

Responsables políticos u otros actores con

capacidad de decisión.

Mejora del programa y desarrollo

organizacional

Dirección u otros/as responsables de las

operaciones habituales del programa.

Comprensión del programa Personal del programa y, a veces, también

los/las participantes.

Justicia e igualdad social Participantes, sus familias y la comunidad

Page 123: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

En los años 90’

• Desarrollo de sistemas de monitoreo y gestióncomo Government Performance and Results Act(GPRA).

• Evaluación orientada al consumidor (criterios decalidad final para los clientes) y otros actores:políticos, evaluadores y clientes / beneficiarios.

Page 124: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

8. ¿Quién ocupa la centralidad?

¿Quién ocupa la centralidad de la Evaluación?

¿Políticos, evaluadores/as o clientes?

Negociación, disputa o colaboración porla ostentación de la centralidad en laevaluación de políticas o programas

Page 125: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Siglo XXI

⚫ Globalización

- extensión internacional e implicacionesintranacionales.

- homogeneización de Evaluación y políticas.

⚫ Introducción del paradigma transformador ocambio crítico:

- evaluación colaborativa democrática

- evaluación feminista, Derechos Humanos...

Page 126: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

9. Homogeneización de la evaluación(y de las políticas)

Incremento de la importância de instituciones internacionales como el Banco Mundial, la OCDE, con el desarrollo de programas como PISA, o TIMSS, o PIRLS, la UNESCO o hasta la propia Unión Europea.The Global Forum on Quality Assurance in Higher Education (Eaton, 2003) o la Declaración Europea de Bolonia (2001). “World Education Indicators” con la UNESCO y la OCDE.

Los estados, en la medida en la que participan de esas organizaciones, acabanpor aplicar las recomendaciones políticas propuestas.

La evaluación puede ser un Caballo de Troya de las políticas nacionales.

Page 127: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

10. Ruptura de la “cuarta pared"

Con estos abordajes, se posicionan en el sistema social del programa y buscan

dilucidar las desigualdades sociales, económicas y políticas, se critican las

injusticias sociales, la concientización aumenta y la evaluación está orientada

hacia el cambio de equilibrio de poder a favor de los más desfavorecidos o, en

cualquier caso, aumenta la capacidad de los actores para representar sus

propios intereses a través de la evaluación (Patton, 2002).

Page 128: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

5. Nueva traslación del locus de control

Local

Estatal

Supraestatal (instancias internacionales)

Page 129: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

Las 10 tendencias

1. Ampliación de la mirada sobre el objeto

2. Enjuiciar sí pero ¿cómo?

3. Legitimidad de lo cuantitativo y de lo cualitativo

4. ¿La evaluación se usa? ¿Es útil?

5. Traslación del locus de control de la evaluación: local,

estatal e internacional

6. Cambio de la preponderancia de los destinatarios...

7. y, por tanto, cambio en los propósitos de evaluación.

8. Cabe preguntarse, ¿Quién ocupa la centralidad en la

evaluación?

9. Homogeneización de la evaluación (y políticas).

10. Ruptura de la cuarta pared.

Page 133: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Tendencias

a) Centrífuga (globalización )

b) Centrípeta (a partir de lo local)

Page 134: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Centrífuga (globalización )

1. Las personas que promueven la evaluación pueden ser externasa la realidad local

2. Y los destinatarios de la evaluación pueden no ser losbeneficiarios del programa (financiadores, Banco Mundial, elgobierno...)

3. Existe una pérdida de la capacidad para decidir sobreevaluaciones y políticas.

4. La globalización nos hace perder el foco de lo local y singular

5. Tendencia a la homogeneización de las evaluaciones y tambiénde las políticas.

Page 135: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Centrípeta (a partir de lo local)

1. Priorización como destinatarios los beneficiarios de la política yde los técnicos

2. Orientación hacia la mejora de las intervenciones.

3. Evaluaciones ad hoc para responder a intervencionesexclusivas/específicas.

4. Esto exige una mayor versatilidad de métodos y abordajes.

Page 136: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Tendencia mayoritaria:centrífuga

• Aumento de la importancia y control de las evaluaciones internacionales.

• Más instituciones y departamentos de evaluación internacional (en el

sistema de las Naciones Unidas, en la U.E., BM,...).

• Más oficinas y delegaciones de organizaciones internacionales en los

países.

• Inclusión de competencias de evaluación en la administración, y en

todas as áreas.

• Más ofertas de evaluaciones para consultoría internacional.

• Abordaje de la evaluación. Más enfocado en accountability y a la gran

toma de decisiones.

• Métodos para comparar. Énfasis en resultados, evaluación de impacto

• No énfasis en la la interpretación ni en los procesos. Problemas de uso.

Page 137: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Tendencia minoritaria: centrípeta

• Evaluaciones no periódicas, comisiones, minoria ad hoc. Hecha por la propiainstitución.

• Departamentos o personas responsables de la evaluación en la propiainstitución. Generalmente está ligada a otras habilidades comoinvestigación + calidad + aprendizaje...

• Personas interesadas en la evaluación sin ser especialistas.

• Consultoría Externa. Muy especializada y de alta calidad para respondera los requisitos.

• Destinatarios principales: responsables y ejecutores de la intervención.

• Propósitos muy variados pero muy orientada a la mejora de la propiaintervención.

• Mantenimiento de la singularidad y aumento del know how en laorganización

• Aumento del conocimiento teórico-académico sobre cómo intervenir en lasociedad.

Page 138: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Ocurre en contextos en los que existen entidades ounidades administrativas relacionadas con la gestión deuna intervención y con financiación propia o con capa demaniobra.

¿Dónde o en que condiciones se puede dar más este tipo de evaluación?

Page 139: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

En síntesis

Existencia de oferta de trabajo en evaluación, aunquesea necesario decidir el tipo de especialización.

Existencia de estructuras: organismos, sociedadesprofesionales, cursos, másteres, publicaciones ...

+

Sin embargo hay conflicto, perdida deespecificadad, capital cultural, control,cuestionamiento de la utilidad y hastaanimadversión con relación a ciertos tipos deevaluación.

-

Page 140: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Desafío

Mantener nuestras propias políticas, adaptadas anuestros contextos y enfocadas en la ciudadanía.

Para eso necesitamos evaluaciones adaptadas,orientadas hacia la mejora y hacia el aprendizajecontinuo.

Es decir, la evaluación genera conocimiento,aprendizaje y mejoras sobre la intervención ypolíticas.

Page 142: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

TALLER GRUPALElementos que favorecen el desarrollo de la evaluación

Page 143: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Objetivo de la dinámica

Identificar elementos que ayuden a reforzar las instituciones,las interacciones, las capacidades y las posibilidades deevaluación para el análisis y la mejora de las políticaspúblicas.

Page 145: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿Qué vamos a hacer ?

Estructura/tierra Procesos/trabajo Resultados/frutos

C1. ¿Qué tenemos en estructura ¿Qué deberíamos tener?

C2. ¿Qué procesos evaluativos tenemos? ¿Cuáles deberíamos tener?

C3. ¿Qué nos da la evaluación? ¿Qué podemos esperar de la evaluación?

Page 146: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La tierra (estructura)

El trabajo

(procesos)

Los frutos

(resultado)

s)

Esquema taller

Page 147: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Pregunta 1ª

C1. ¿Qué tenemos en estructura? o ¿Qué deberíamos tener?

Page 148: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La tierra (estructura)

Los medios que se necesitan para “cultivar” la evaluación:

• Presupuesto

• Leyes

• Diseño orgánico de la función de evaluación

• Capacitación del personal

• Cultura y actitud evaluativa. Implicación en la evaluación

• …

Page 151: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Se puede hacer evaluación

La evaluación no es característica de una determinada cultura (losindicadores apuntan una mayor utilización en países de culturaanglosajona). (...) Las evaluaciones pueden ser realizadas mismo enel cuadro de sistemas públicos non impregnados de una cultura deevaluación.

Thoenig concluye: no se considera esencial contar con expertos nicon sistemas sofisticados, porque todo funcionario público es librede decidir si realiza una evaluación.

Dicho de otra manera, los obstáculos a la evaluación son, sobretodo, pragmáticos y no de naturaleza profesional o técnica.

Page 152: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Pregunta 2ª

Ya tenemos preparada la tierra, la semillas y las

herramientas ahora toca trabajarla:

¿Qué procesos evaluativos tenemos?

¿Cuáles deberíamos tener?

Page 153: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Definición de procesos

Secuencia de acciones que con su desempeñogeneran un producto o servicio.

(con un valor añadido con relación a las“entradas” iniciales para el cliente interno oexterno )

Page 154: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Los procesos = el trabajo

Lo que tengo que hacer para promover, realizar y utilizar evaluaciones

Procesos estratégicos

Necesidades estratégicas de evaluación

Gestión de la toma de decisión política

Procesos operativos

Identificación de necesidades.

Licitación o realización interna de las evaluaciones.

Gestión de las evaluaciones.

Apropiación, utilización de las evaluaciones.

Intercambio de información.

Procesos de apoyo

Capacitación en evaluación

Difusión comunicación

Page 155: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Pregunta 2ª

C2. ¿Qué procesos evaluativos tenemos?

¿Cuáles deberíamos tener?

Page 157: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Frutos (los resultados)

Lo que obtengo: evaluaciones, mejores políticas, más democracia ,…

Productos Resultados

Evaluaciones Idea compartida sobre políticas

… …

Page 158: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Productos y resultados

Productos: Son cosas, salidas, que produce lasevaluaciones. Por ejemplo, nº de evaluaciones,…

Resultados: son efectos, cambios en la población opoblaciones. Por ejemplo, cambio de la mentalidadsobre un programa,…

Page 159: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Pregunta 3ª

C3. ¿Qué nos da la evaluación?

¿Qué podemos esperar de la evaluación?

Page 160: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Ejemplos,

Productos Resultados

Evaluaciones Idea compartida sobre políticas

Recomendaciones Cambios, mejoras de las políticas

Nº evaluaciones Información pública

Decisiones políticas más sustentadas

… …

Page 161: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Procesos

+

Resultados

+

Pista para identificar resultados

Page 165: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Creemos en modelos de evaluación propios quetengan sentido en cada contexto y se adecuen acada realidad.

¡Hasta mañana!

Page 166: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Diagnóstico de los recursos y herramientas para la evaluación en Canarias: mapa del

sistema de evaluación canario

Aldo García Borges y Óscar Franco Alonso

Page 167: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

PRESENTACIÓN

García Borges, Aldo

Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en PoblacionesUrbanas y Políticas Sociales (Universitat Oberta de Catalunya). Actualmente cursa el MásterEvaluación de Programas y Políticas Públicas de la UCM.

Su experiencia profesional se ha desarrollado en el área de la cooperación al desarrollo,fundamentalmente en torno a las políticas públicas urbanas. Sus líneas de investigación principalesson: la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de lainnovación urbana.

Franco Alonso, Óscar

Geógrafo, Máster en Evaluación de Programas y Políticas Públicas de la UCM, donde tambiénparticipa como docente y tutor. Su experiencia profesional se vincula a la evaluación, urbanismo,cooperación al desarrollo e investigación social. Los ámbitos de trabajo han sido la universidad,administración pública y consultoría privada.

Su área profesional en evaluación se desarrolla en intervención social, desarrollo comunitario,cultura, educación, salud y cooperación / educación al desarrollo. Ha participado en diferentesinvestigaciones relacionadas con vivienda y urbanismo, salud y colectivos vulnerables.

Page 168: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿QUÉ?

•Breve diagnóstico de la situación actual de laevaluación en canarias. Mapeo sistema deevaluación canario.

•Fases del estudio:

•Primera: Indagación a partir de fuentes primarias,secundarias, consultas y entrevistas actores clave.

•Segunda: Presentación de conclusiones, contraste eincorporación de nueva información (Jornadas deEvaluación).

•Tercera: Ajustar y ampliar el diagnóstico con nuevasfuentes e indagaciones.

Page 169: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿PARA QUÉ?

•Conocer la situación de la evaluación en Canarias para contribuir a unmayor desarrollo de la cultura evaluativa en Canarias.

•Conocer para …

•Saber dónde estamos.

•Toma de conciencia sobre la situación.

•Generar reflexión.

•Facilitar la toma de decisiones.

•….

•Estas jornadas son el escenario ideal para compartir el diagnóstico y podercontribuir al objetivo de las Jornadas: Favorecer la aplicabilidad de laevaluación en Canarias, a través del conocimiento.

Page 170: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿CÓMO?

•Diagnóstico / investigación orientada por una perspectivasistémica (novedoso): Se ha elaborado un esquemasintético del estado de la evaluación en Canarias.

•Análisis de la realidad a partir de las dimensiones que loconforman (teoría de sistemas): permite establecerrelaciones y obtener una mejor comprensión de larealidad.

•Esquema de indagación estructurado en estasdimensiones (modelo sistémico): estructura, procesos yresultados del sistema de evaluación en Canarias.

Page 171: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

FASES DEL TRABAJO

1.Mapeo a partir del esquema del modelo lógico, através de las siguientes técnicas:•Revisión de fuentes primarias y secundarias (revisiónweb y redes sociales, revisión documental, bases dedatos, …).

•Entrevistas con evaluadoras canarias y otros actoresde referencia en evaluación.

•Jornadas de evaluación.

2.Volcado y síntesis de información en el modelológico (siguiendo el esquema).

3.Interpretación y conclusiones del “mapeo”.

Page 172: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

CRITERIOS Y ACOTACIÓN DEL DIAGNÓSTICO

•Criterios (y/o):

•Procesos evaluativos localizados en el ámbito territorial de Canarias.

•Entidades, organizaciones y/o personas vinculadas con la evaluación, cuya sede o actividadprincipal está en Canarias.

•Aunque el objeto del diagnóstico es la evaluación (definición), también se han incorporado otrosprocesos / acciones que se vinculan con alguno de los propósitos de la evaluación:

•Comprensión de la intervención.

•Mejora de la política pública.

•Fundamentar la toma de decisiones.

•Transparencia y rendimiento de cuentas público.

•Dificultad para acotar con claridad los límites de la evaluación (respecto otros campos). Por eso seopta por un criterio inclusivo y amplio, para incluir otros trabajos o funciones vinculadas con algunode esos propósitos.

Evaluación: Proceso sistematizado de recogida y análisis de la información para poder comprender y dotar de significado a lo que ocurre en un programa o servicio, de lo que se deducen unos juicios específicos que permiten rendir cuentas y tomar las decisiones adecuadas que incidan en la mejora.

Page 173: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

ESTRUCTURA

•Recursos, orientaciones, planes, marco legal, estrategias yotros vinculados con la evaluación en Canarias.

•También los actores clave relacionados con la evaluación enCanarias: administración pública, comunidad evaluadora,tercer sector, consultorías y otras entidades.

•Equipos, unidades, departamentos, organizaciones …

•Quién encarga evaluaciones y quién las realiza.

•Es decir, las estructuras que permiten el desarrollo de losprocesos evaluativos.

Page 174: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

PROCESOS

•Acciones desarrolladas a partir de las estructurasexistentes, para realizar o impulsar evaluaciones.

•Jornadas, formaciones, guías metodológicas,funciones de las entidades vinculadas con laevaluación, encargos de evaluaciones,convocatorias, etc.

•Las acciones que permiten el desarrollo de losprocesos evaluativos.

Page 175: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

PRODUCTOS

•Evaluaciones realizadas (procesos evaluativosrealizados).

•Hemos diseñado dos indicadores:

1. Identificación de evaluaciones a partir del mapeorealizado.

2. Número de publicaciones académicas sobreevaluación, como aproximador / indicador de laactividad evaluadora. Termómetro de evaluación.

•Existe coherencia entre los productos, los procesos ylos elementos estructurales.

Page 177: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

PEMAC ACCUEE

Comisionado de Transparencia

Audiencia de Cuentas de Canarias

Intervención General

Servicio Eval. y Planif, Servicio Salud

Servicio Canario de Empleo

Administraciones locales

Unidad Evaluación y mejora calidad (ULL)

ESTRUCTURA

Gabinete evaluación institucional (ULPGC)

DG Modernización y calidad servicios

Coop. internacional - Ley Canaria (2009) yPlan Director 2010-13. - (1) DG Asuntos Económicos con África y (2)

Viceconsej. Acción Exterior

InterregMAC: (eje 5) GobAb

Tercer sector

(intervención social, cooperación .. )- Entidades sociales con sede en canarias (Ong, asociaciones),.

Comunidad evaluadora:- Al menos 8 consultoras canarias- Consultores independientes: 4

evaluadores canarios 17 ediciones máster evaluación UCM

Consejo Escolar Canarias

Sistema información medioambiental Canarias (SIMAC)

Normativa (Nacional)

- Ley Ley 6/2013, de la Autoridad independiente de Responsabilidad fiscal-España

- Ley de procedimiento administrativo de las Administraciones públicas-España

(39/2015)

Normativa Canaria-Ley de Transparencia-Canarias(12/ 2014)

Falta de presupuesto para evaluar.Ausencia cultura evaluación.Carencia de personal formado

Page 178: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

PROCESOS

Informes anuales e Índice Transparencia Canarias

Evaluaciones y acreditaciones, programas, titulaciones, Simposio ..

Evaluaciones planes eco-financ, fiscalización gestión económica

Evaluación políticas públicas; jornada evaluación (2008) con ICAP

Evaluación tecnologías sanitarias y económicas para tomar decisiones

Sistemas evaluación internos, y

evaluación de programas

Impulso y coordinación procesos evaluativos y formativos actividad universitaria; calidad, evaluación y seguimiento

Evaluaciones, Observatorio de calidad de Tenerife ….

2 cursos sobre evaluación, 2 talleres y guía evaluación

Evaluación de políticas

3 Jornadas intercambio BBPP, 2 acciones formativas personal directivo

- Ley y PD apuestan por evaluar, no

evidencias de aplicación. - No obligación de evaluar proyectos financiados (Acc.Ext.).- Evaluaciones externas financiadas por UE/AECID.- Convocatorias, subvenciones.

- Pocas evaluaciones, menciones o herramientas evaluativas. - Solo 1 organización explicita sistemas de

evaluación internos.

- Sesgo hacia calidad, eficiencia, gestión y planificación de proyectos. - Evaluaciones de proyectos europeos.

Indicadores ambientales, inspecciones, evaluaciones políticas ..

Page 179: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

PRODUCTOS

2 casos prácticos: Itinerario

Inserción Laboral SCE y La Mar

de Voluntarios

55 procesos evaluativos en el

año 2018

3 Informes anuales de

evaluación + ITC

Informe de gestión del gasto

de AAPP canarias sector

turístico (2004-2007)

Múltiples informes técnicos de

tecnologías sanitarias (2010-

2018)

- Eval resultados políticas empleo

gestionado por SCE (2017), Red2REd.

- Eval políticas empleo gestionadas por

SCE (2007), Edei

- Evaluaciones internas.

- Publicaciones académicas.

Eval. intermedia marco estratégico insular

participac ciudad. C. Tenerife, Deloitte

Informe evaluación intermedia programa

MAC (+ Planes de Evaluación)

- 1 evaluación (Hegoa)

- 2 procesos evaluativos vinculados con

cooperación y UE / ACEID (entrevistas)

- Evaluación Prog. NOVA (Proyecto

Hombre). 2018.

- Programa Engoe (2013), prevención

drogas. Fundac Canaria Yrichen

- Prog desarr rural Canarias

2007-13, RegioPlus.

- Prog operativo FEDER 2007-

13 Canarias-Quasar

- Programa operativo FSE

Canarias 2014-22,Red2Red

- Polít. Fomento Canarias

Actividades Productivas

1994-97, Arenal GC- Eval externa prog CLILL, Consejería

Educación 2014

Page 181: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

- Normativa legal, nacional o canaria:

- Ley de procedimiento administrativo de las

Administraciones públicas-España (39/2015)

- Ley de Transparencia-Canarias(12/ 2014)

- Ley 6/2013, de la Autoridad independiente de

Responsabilidad fiscal-España.

- Falta de presupuesto para evaluar.

- Ausencia de cultura de evaluación.

- Carencia de personal formado en evaluación.

INFORMACIÓN EXTRAÍDA DE LAS JORNADAS

Page 182: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

CONCLUSIONES

•Coherencia en los resultados: las estructuras más definidas / desarrolladas son las quetienenmayor volumen de evaluaciones.

•La mayor actividad evaluativa en Canarias está en educación, que cuenta con laestructura más definida (ACCUEE): más de la mitad de evaluaciones identificadas sevinculan con educación.

•Los procesos evaluativos se localizan sobre todo en el ámbito público. Poca presenciade otras áreas o espacios que suelen impulsar la evaluación: cooperación internacionalo intervención social.

•En cooperación internacional se aprecian estructuras poco definidas.

•Pocas consultoras canarias que hacen evaluaciones, la mayoría de evaluacionesidentificadas son realizadas por empresas no canarias.

•Esfuerzos por impulsar la evaluación: jornadas, formaciones ..

•Mayor peso de encargos de evaluación de financiadores europeos (FEDER, Interreg.) oestatales (AECID).

•Preponderancia de la rendición de cuentas, transparencia y eficiencia pública.

Page 183: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

PASOS A SEGUIR

•Hemos realizado un primer diagnóstico, somosconscientes de la existencia de limitaciones (portiempos y recursos).

•El objetivo es seguir alimentando y ampliandoeste diagnóstico en el futuro.

•Esperamos que este diagnóstico haya ayudado atener una mejor visión de la situación de laevaluación en Canarias.

Page 185: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

VENTANAS DE EVALUACIÓN

https://www.youtube.com/watch?v=iaL2Ymsy3CI&t=21s

Page 233: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Diferentes métodos, diferentesusos.

Profesor de la Universidad Carlos III de Madrid. Codirector

del Máster en Evaluación de Programas y Políticas

Públicas, UCM.

Juan Andrés Ligero Lasa

Page 235: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Evaluación

EFQM / TQM/ CAF

Análisis Coste Beneficio / Análisis Coste Eficacia/SROI

Certificación Normas ISO 9000/ otras normas…

Planes de calidad con o sin medición

Satisfacción ciudadano/a

Carta de servicio con o sin medición

Seguimiento / cuadro de mando integral

Auditoría contable, auditoria social,…

Investigación asociada al programa

Premios de calidad

Page 236: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Evaluaciones orientadas por los métodos o las cuestiones(cuasievaluaciones)La valoración del mérito y valor es una cuestión secundaria.Suelen ser pocas cuestiones, demasiado escasas para valorar elmérito y valor.3. Estudios basados en los objetivos.4. Estudios centrados en la responsabilización (rendimiento decuenta y pago por resultados). estándares, gestión/pago porresultados, contrato servicio, gestión por resultados (MBO,PPBS). Cartas de servicio, auditorías.5. Test estandarizados.6. Evaluación de outcomes (impacto) como evaluaciones devalor añadido.7. Comprobación del desempeño.8. Estudios experimentales.9. Sistemas de información de la gestión (seguimiento, cuadrode mando integral,.,.)10. Análisis coste - beneficio.11. “Modelo Judicial” (clarifications hearing)12. Estudio de caso.13. Críticos y expertos (Criticism and Connoisseurship)14. Evaluación orientada por la Teoría del Programa.15. Estudios con articulación multimétodo (mixed methods).

Evaluaciones orientadas a la mejora y alrendimiento de cuentas16. Estudios orientados a la decisión y a laresponsabilización (accountability)17. Estudios orientados a consumidor/a18. Acreditaciones, certificaciones.**. Defensa agenda social (social agenda//advocacy)l19. Responsive evaluation (client centered studies)20. Evaluación constructivista21.Evaluación democrática deliberativa.22. Evaluación centrada en su utilización.

Pseudoevaluaciones1. Estudios inspirados en las relaciones públicas.

2. Estudios controlados políticamente.

Modelos (Stufflebeam)

Page 237: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Problemas con el uso, ¿falta de utilidad de la evaluación?

Reacciones contrarias: “… este desarrollo evaluativo estágenerando fuertes reacciones sociales que incluso están llevando aalgunas familias y a docentes a practicar o promover la insumisióna la realización de las pruebas externas”. (Seminario experiencias de evaluación, 2017)

Nadie cuestiona la necesidad de evaluar pero...

Page 239: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

• Fundamentar la toma de decisiones y el rendimiento de cuentas(responsabilización, accountability) puede dar respuesta a las necesidadesinformativas e intereses de los responsables políticos u otros actores concapacidad de decisión.

• La mejora del programa y el desarrollo organizacional provee de unainformación valiosa para los directivos u otros responsables de lasoperaciones habituales del programa.

• La comprensión en profundidad y contextualizada del programa y susprácticas normalmente atiende a las necesidades informativas e intereses delpersonal del programa y a veces también de los participantes.

• Promover más justicia y equidad en el programa y en el contexto en el quese evalúa, sirve usualmente a los intereses de los participantes, sus familias yla comunidad.

Propósitos (Greene, 2007)

Page 242: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Encuentran empleo

Formados

profesionalmente

Contactos con

empresas y

entidades

Alfabetizados

Page 248: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Proceso: secuencia de actividades (talleres, atención,

cursos,…) que produce los resultados

CAJA

NEGRA?

+

- + +

Page 251: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]

Evaluación de la estructura

Evaluación del proceso

.

Eva

lua

ció

n d

e

resu

ltad

os e

imp

acto

Page 253: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

La utilidad de la evaluación puede depender de la realización ocumplimiento de los propósitos.

Utilidad = cumplimiento de los propósitos

Page 254: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Con todos los posibles usos a los que la evaluación puede servir, laevaluadora tiene que hacer una elección. La evaluación para todoslos propósitos es un mito. Aunque un cierto número de diferentestipos de preguntas puede ser tenido en cuenta dentro de los límitesde un solo estudio, requiere de una planificación y un diseñometiculoso. Ni siquiera un estudio bien planificado ofreceráinformación sobre todas las preguntas de todas las personasinvolucradas (Carol Weiss 1998: 33).

Evaluación para todo propósito un mito

Page 255: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

¿En una sóla evaluación se puede responder a todos los propósitos?

Page 256: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Responsables políticos u otros actores con capacidad de decisión.

Dirección u otros/as responsables de las operaciones habituales del

programa.

Personal del programa y a veces también los/as participantes.

Participantes, sus familias y la comunidad

Actores (stakeholders)

Page 257: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Actores Propósitos evaluativos que

requieren

Responsables políticos u otros

actores con capacidad de

decisión

Toma de decisiones y

rendimiento de cuentas

(responsabilización,

accountability)

Dirección u otros/as

responsables de las operaciones

habituales del programa.

Mejora del programa y

desarrollo organizacional

Personal del programa y a veces

también los/as participantes.

Comprensión del programa

Participantes, sus familias y la

comunidad

Justicia y equidad social

Relación entre actores y propósitos

Page 258: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

ÉNFASIS EN LA COMPRENSIÓNEvaluación orientada por los modelos lógicos de los programas y perspectiva sistémica de la evaluanda

⚫Evaluación orientada por la teoría del cambio o modelo lógico (Chen, Weiss, Rossi y Petrosino, Rogers, Heubner y

Hasci) “⚫ Responsive evaluation (Stake),

⚫Modelos lógicos:, Donabeidan, Alvira, Cohen y Franco,…⚫Estudio de caso (Stake).

ACCOUNTABILITY Y TOMA DE DECISIONES.

Juicios sumativos fundamentar accountability y toma de

decisiones.

⚫Test estandarizados

⚫Evaluaciones de valor añadido

⚫Evaluaciones por objetivos (Tyler)

⚫Cartas de servicio. /contrato programa.

⚫Normas ISO*

⚫CIPP (Stufflebeam)

⚫Análisis Coste – Beneficio, Coste –Efectividad. /SROI

⚫Modelo EFQM, CAF

⚫Juicios sumativos (Scriven)

⚫ Responsive evaluation (Stake),

ÉNFASIS EN TRANSFORMACIÓN SOCIAL

⚫Evaluación Democrática (House)⚫Evaluación feminista.

⚫EBDH (Unicef)

ÉNFASIS EN EL USO

⚫Evaluación participativa o empoderadora, (Fetterman). Orientada a los stakeholders.

Colaborativas (Cousins) Evaluación Pluralista (Monnier

⚫Evaluación orientada a la utilización (Patton)

POSIBLE PROPUESTA DE MODELOS PROCLIVES A PROPÓSITOS (elaboración propia)

Page 259: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Actores Propósitos Posibles métodos ,

ejemplosResponsables políticos u

otros actores con

capacidad de decisión

Toma de decisiones y

rendimiento de cuentas

(responsabilización,

accountability)

Juicios sumativos, por

ejemplo, el modelo del

CAD.

Dirección u otros/as

responsables de las

operaciones habituales

del programa.

Mejora del programa y

desarrollo organizacional

Por ejemplo, evaluación

orientada por la teoría (con

orientación a stakeholders)

Personal del programa y

a veces también los/as

participantes.

Comprensión del programa

Participantes, sus familias

y la comunidad

Justicia y equidad social Por ejemplo, evaluación

democrática.

Una propuesta

Page 260: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Todos son legítimos pero escoger entre uno y otro puede que noresponda a las necesidades de los diferentes actores implicados.

Por ejemplo, puede ser útil para el rendimiento de cuentas perono para la mejora de los programas.

En educación, los test estandarizados que están muy extendidos,son adecuados para rendir cuentas pero no proveen deinformación útil para mejorar los centros educativos.

Todas las opciones son legítimas pero…

Page 261: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Evaluaciones orientadas por los métodos o las cuestiones(cuasievaluaciones)La valoración del mérito y valor es una cuestión secundaria.Suelen ser pocas cuestiones, demasiado escasas para valorar elmérito y valor.3. Estudios basados en los objetivos.4. Estudios centrados en la responsabilización (rendimiento decuenta y pago por resultados). estándares, gestión/pago porresultados, contrato servicio, gestión por resultados (MBO,PPBS). Cartas de servicio, auditorías.5. Test estandarizados.6. Evaluación de outcomes (impacto) como evaluaciones devalor añadido.7. Comprobación del desempeño.8. Estudios experimentales.9. Sistemas de información de la gestión (seguimiento, cuadrode mando integral,.,.)10. Análisis coste - beneficio.11. “Modelo Judicial” (clarifications hearing)12. Estudio de caso.13. Críticos y expertos (Criticism and Connoisseurship)14. Evaluación orientada por la Teoría del Programa.15. Estudios con articulación multimétodo (mixed methods).

Evaluaciones orientadas a la mejora y alrendimiento de cuentas16. Estudios orientados a la decisión y a laresponsabilización (accountability)17. Estudios orientados a consumidor/a18. Acreditaciones, certificaciones.**. Defensa agenda social (social agenda//advocacy)l19. Responsive evaluation (client centered studies)20. Evaluación constructivista21.Evaluación democrática deliberativa.22. Evaluación centrada en su utilización.

Pseudoevaluaciones1. Estudios inspirados en las relaciones públicas.

2. Estudios controlados políticamente.

Modelos (Stufflebeam)

Page 262: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de
Page 263: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de
Page 264: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Creemos en modelos de evaluación propios quetengan sentido en cada contexto y se adecuen acada realidad.

Page 265: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Referencias

•Ligero, J.A. (2016) Tres métodos de evaluación. Juicios Finales Sumativos, teoría delcambio y evaluación orientada a los actores implicados. Madrid.

• Ligero, J.A. (2016) Dos métodos de evaluación: criterios y teoría del programa en CAF Laevaluación de políticas. Fundamentos conceptuales y analíticos. Argentina: CAF.http://scioteca.caf.com/bitstream/handle/123456789/1008/Version%20Web%20Evaluacion%20de%20politicas%20.pdf

•Ligero, J.A, Espinosa, J., Mormeneo, C. y Bustelo M. (2014). Diferentes aproximacionespara hacer una evaluación sensible al género y al Enfoque Basado en Derechos Humanospara el Desarrollo. SGCIC, Ministerio de Asuntos Exteriores y Cooperación: Madrid. (Seanexa portada y se puede bajar desde el link: http://www.aecid.es/Centro-

Documentacion/Documentos/Evaluaci%C3%B3n/diferentes_aprox_on-line_definitivo.pdf)

Page 266: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Algunos links de interés

⚫African Evaluation Association o L` Associacion Africaine d`Avaluation (Accra, Ghana)

https://afrea.org

ESK | Evaluation Society of Kenya

www.esk.co.ke

⚫Blog Evaluation for Africa (E4A)

https://africaevaluation.org/Africa/purpose-of-the-blog/

⚫Association Sénégalaise d’Évaluation

https://seneval.sn

⚫APROEVAL Asociacion Iberica de profesionales por la evaluación

http://aproeval.org

⚫BetterEvaluation

https://www.betterevaluation.org

⚫Máster en Evaluación de Programas y políticas públicas

http://www.magisterevaluacion.es/

Page 267: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Equipo

• Juan Andrés Ligero Lasa ([email protected])

Sociólogo con la especialidad de psicología social, tiene formación de postgrado en métodos, en técnicas deinvestigación y en evaluación de proyectos, programas y políticas. Trabaja como profesor en la Universidad Carlos IIIde Madrid y es co-director del Máster en Evaluación de Programas y Políticas Públicas de la UCM (16ª promoción),complementa su labor académica con evaluaciones de políticas y programas.

• Óscar Franco Alonso ([email protected])

Geógrafo, Máster en Evaluación (UCM). Actualmente es tutor del Magíster de Evaluación de Programas y PolíticasPúblicas de la Universidad Complutense de Madrid. Su área profesional en evaluación se desarrolla en laintervención social, desarrollo comunitario, educación, salud y cooperación/educación al desarrollo. Ha participadoen diferentes investigaciones relacionadas con vivienda, salud y colectivos vulnerables.

• Jandira Miranda Barros ([email protected])

Máster en Trabajo Social, tiene, también, formación de postgrado en evaluación de Programas y Políticas Públicas.Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de laRepública de Cabo Verde. Ha sido coordinadora del grado de trabajo social en el "Instituto Superior de CienciasJurídicas e Sociais" y ha enseñado materias relacionadas a las Políticas Sociales y al trabajo social en este instituto yen la Universidad Jean Piaget de Cabo Verde, ambos con sede en Praia.

• Aldo García Borges ([email protected])

Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en Poblaciones Urbanas yPolíticas Sociales (UOC). Actualmente cursa el Máster en Evaluación de Programas y Políticas Públicas de laUniversidad Complutense de Madrid. Su experiencia profesional se ha desarrollado en el área de la cooperación,fundamentalmente en torno a las políticas públicas urbanas. En cuanto a sus líneas de investigación éstas han sido:la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de la innovación urbana.

Page 268: JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de

Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]

Objetivos

Favorecer la aplicabilidad de la evaluación en Canarias, a través delconocimiento de:

• La situación de la evaluación en el contexto canario.

• Herramientas, instrumentos y recursos que favorezcan lascapacidades de evaluación.