JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha...
Transcript of JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS … · 2019-06-03 · Entre 2011 y 2014 ha...
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
JORNADAS DE INTERCAMBIO DE EVALUACIÓN DE POLÍTICAS PÚBLICAS:
Oportunidades, experiencias y recursos de evaluación en Canarias
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
ÍNDICE DE PRESENTACIONES
1. Presentación de las jornadas. D. Juan Andrés Ligero Lasa.
2. Ponencia: La experiencia de la evaluación en Cabo Verde y Senegal. Dña. Jandira Barros.
3. Mesa Redonda: Perspectivas sobre la evaluación en Canarias:
• D. Daniel Cerdán Elcid. Comisionado de Transparencia y Acceso a la Información Pública(Parlamento de Canarias).
• D. Pedro Pacheco González. Presidente de la Audiencia de Cuentas de Canarias.
• D. Pablo Javier Hernández Bolaños. Director General de la Dirección General de Modernización yCalidad de los Servicios.
4. Ponencia: Contexto, tendencias y situación actual de la evaluación. D. Juan Andrés Ligero Lasa.
5. Taller grupal (dinamizado por equipo formador). Elementos que favorecen el desarrollo de laevaluación.
6. Ventanas de evaluación: Oportunidades de desarrollo e institucionalización de la evaluación enCanarias.
• Diagnóstico de los recursos y herramientas para la evaluación en Canarias: mapa del sistema deevaluación canario. D. Aldo García Borges y D. Óscar Franco Alonso.
• Herramientas para la creación de redes evaluativas. D. Aldo García Borges.
• Ponencia: La evaluación en el Grupo Banco Europeo de Inversiones y lecciones aprendidas en el“Evaluation Cooperativos Group”. Dña. Sonia Vega Vega.
7. Ponencia: Los usos y las posibilidades metodológicas de la evaluación. D. Juan Andrés Ligero Lasa.
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Presentación de las Jornadas
(Juan Andrés Ligero Lasa)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿Qué son las jornadas?
Las jornadas en Canarias suponen el punto final del procesoiniciado en Cabo Verde y Senegal, cuyo objetivo ha sidopromocionar el desarrollo de las potencialidades de la evaluaciónen tres contextos distintos. Para ello, se abordarán experiencias deevaluación de las diferentes administraciones y entidades. Además,las propias Jornadas servirán para incrementar el conocimientosobre los recursos y herramientas de evaluación existentes en elcontexto actual.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Objetivos
Favorecer la aplicabilidad de la evaluación en Canarias, a través delconocimiento de:
• La situación de la evaluación en el contexto canario.
• Herramientas, instrumentos y recursos que favorezcan lascapacidades de evaluación.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Capacidad
Capacidad que es única en cada organización, según sutamaño, presupuesto, conjunto de habilidades profesionales yexperiencia y entorno político.
En el ámbito de la filosofía y la sociología, sedenomina agencia a la capacidad que posee un agente (unapersona u otra entidad) para actuar en el mundo.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Trayectoria del proyecto,..
ÉNFASIS
Diagnóstico de las dificultades y límites para el desarrollo de la
evaluación.
Fortalecimiento de las capacidades institucionales para realizar la
evaluación.
Intercambio de experiencias de éxito o estudios de casoque pueden ser implementados en diferentes contextos.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
En resumen
Cómo reforzar las instituciones, lasinterecciones y las capacidades yposibilidades de evaluación.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Equipo
• Juan Andrés Ligero Lasa ([email protected])
Sociólogo con la especialidad de psicología social, tiene formación de postgrado en métodos, en técnicas deinvestigación y en evaluación de proyectos, programas y políticas. Trabaja como profesor en la Universidad Carlos IIIde Madrid y es co-director del Máster en Evaluación de Programas y Políticas Públicas de la UCM (16ª promoción),complementa su labor académica con evaluaciones de políticas y programas.
• Óscar Franco Alonso ([email protected])
Geógrafo, Máster en Evaluación (UCM). Actualmente es tutor del Magíster de Evaluación de Programas y PolíticasPúblicas de la Universidad Complutense de Madrid. Su área profesional en evaluación se desarrolla en laintervención social, desarrollo comunitario, educación, salud y cooperación/educación al desarrollo. Ha participadoen diferentes investigaciones relacionadas con vivienda, salud y colectivos vulnerables.
• Jandira Miranda Barros ([email protected])
Máster en Trabajo Social, tiene, también, formación de postgrado en evaluación de Programas y Políticas Públicas.Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de laRepública de Cabo Verde. Ha sido coordinadora del grado de trabajo social en el "Instituto Superior de CienciasJurídicas e Sociais" y ha enseñado materias relacionadas a las Políticas Sociales y al trabajo social en este instituto yen la Universidad Jean Piaget de Cabo Verde, ambos con sede en Praia.
• Aldo García Borges ([email protected])
Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en Poblaciones Urbanas yPolíticas Sociales (UOC). Actualmente cursa el Máster en Evaluación de Programas y Políticas Públicas de laUniversidad Complutense de Madrid. Su experiencia profesional se ha desarrollado en el área de la cooperación,fundamentalmente en torno a las políticas públicas urbanas. En cuanto a sus líneas de investigación éstas han sido:la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de la innovación urbana.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
• Recoger y analizar sistemáticamente una información para poder determinar el valoro mérito de una intervención (Joint Committee Standards Education). Algo más ampliay matizada es la utilizada por Davidson, Fournier, Stufflebeam, Schwandt, House yScriven que entienden que evaluar algo significa determinar su mérito, valor, calidado el significado (Patton, 38).
• Valoración sistemática de las operaciones o de los resultados de un programa opolítica comparada con un conjunto de estándares implícitos o explícitos como mediopara contribuir a la mejora del programa o política (Weiss,1998: 4).
• La evaluación es el proceso de identificar, obtener y proporcionar información útil ydescriptiva acerca del valor y el mérito de las metas, la planificación, la realización y elimpacto de un objeto determinado, con el fin de servir de guía para la toma dedecisiones, solucionar los problemas de responsabilidad y promover la comprensiónde los fenómenos implicados (Stufflebeam y Shinkfield 1987 cit en Lujan y Puente,1996: 111)
Definición de Evaluación
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
(STEIERMARK, XVIII)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿Es esto evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Sistematicidad
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Rainbow framework
Better Evaluation :https://www.betterevaluation.org/
Ligero, J.A. (2016) Dos métodos de evaluación: criterios y teoría del programa en CAF Laevaluación de políticas. Fundamentos conceptuales y analíticos. Argentina: CAF.http://scioteca.caf.com/bitstream/handle/123456789/1008/Version%20Web%20Evaluacion%20de%20politicas%20.pdf
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿Para qué hacer evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Propósitos (Greene, 2007)
• Fundamentar la toma de decisiones en la rendición de cuentas(responsabilización, accountability), o sea, dar respuesta a lasnecesidades informativas e intereses de los responsables políticos u otrosactores con capacidad de decisión.
• Mejorar el programa y el desarrollo organizacional porque proporcionainformaciones valiosas para los directivos u otros responsables de lasoperaciones habituales del programa.
• Comprensión en profundidad y contextualizada del programa y de susprácticas, pues atiende a las necesidades informativas y de interés delpersonal de los programas y también de los participantes.
• Promover más justicia y equidad en los programas y en el contexto quese evalúa, pues sirve usualmente a los intereses de los participantes, susfamilias y la comunidad.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
MEJORA CONTINUA Bucle de la calidad (Edward Deming)
Planificación Mejora
Medición
Acción
MEJORA Y APRENDIZAJE
EXCELENCIA
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Con el taller se pretende responder a estas cuestiones
C1. ¿Qué tenemos?
¿Qué deberíamos tener?
C2. ¿Qué procesos evaluativos tenemos?
¿Qué procesos deberíamos tener?
C3. ¿Qué nos da la Evaluación?
¿Qué podemos esperar de la Evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra El trabajo Los frutos
Org
aniz
acio
nes
Esfe
ra g
ener
al,
esp
acio
co
mú
n
Estructura Procesos Resultados
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra = estructura
• Los medios que se necesitan para “cultivar”la evaluación”
• Presupuesto
• Leyes
• Diseño orgánico de la función de evaluación
• Capacitación del personal
• Cultura y actitud evaluativa
• …
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
El trabajo = procesos
Procesos estratégicos
• Necesidades estratégicas de Evaluación
• Gestion de la toma de decisiones políticas
Procesos operativos
• Identificación de necesidades
• Licitación o realización interna de las evaluaciones.
• Gestión de las evaluaciones.
• Apropiación, utilización de las evaluaciones.
Procesos de apoyo
• Capacitación en evaluación
• Difusión / comunicación
• …
Lo que tengo que hacer para promover, realizar y utilizar evaluaciones.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Los frutos = resultados
Lo que obtengo: evaluaciones, mejores políticas, más democracia...
Productos Resultados
Términos de referencia Idea compartida sobre políticas
Evaluaciones Cambios, mejora de las políticas
Recomendaciones Información pública
Mejores políticas Decisiones políticas más sustentadas
… …
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Desarrollo de capacidades: ¿Dónde?
• Esfera general, espacio común:
Cultura política, espacios de relación entre diferentesadministraciones, comunicación entre diferentes actores(sociedad, administración...) Ejemplos: rendición públicade cuentas, publicación en prensa, toma de decisionespolíticas...
• Esfera de las organizaciones:
Unidades administrativas, entidades, empresas,programas, proyectos…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra El trabajo Los frutos
Org
aniz
acio
nes
Esfe
ra g
ener
al,
esp
acio
co
mú
n
Estructura Procesos Resultados
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
En resumen
Cómo reforzar las instituciones, lasinterecciones y las capacidades yposibilidades de evaluación.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¡ Muchas gracias por su atención !
LA EXPERIENCIA DE LA EVALUACIÓNenCabo Verde Y Senegal
Jandira Barros
HOLA!
Jandira Barros
- Trabajadora Social
- Evaluadora
- Miembro del equipo dinamizador del
intercambio para la institucionalización
de la evaluación
32
PROYECTO GOBAB
Reflexionar sobre los procesos de cambio para
el refuerzo de la evaluación en 3 territorios –
Cabo Verde, Senegal y Canarias.
▰Cual es la situación y cuales son las posibilidades?
34
35
36
Evaluación Exigencia de organismos internacionales
Adopción de métodos de gestión por
resultados
37
CABO VERDE
Cuadro Actual
▰ Estructura
▰ Procesos
▰ Resultados
38
Estructura
Leyes
▰ Ley de la
Modernización
Administrativa
(2004)
▰ Ley de Bases del
Régimen de la
Función Pública
(2009)
▰ Ley de Evaluación
de Desempeño
Sistemas
▰ SGQ ISO 9001(2012)
▰ Sistema evaluación
desempeño (2014)
▰ Centro CAF (2013)
39
Agentes
▰ DNAP
▰ Serviço de
Seguimento e
Avaliação (MF)
▰ NOSI (Núcleo
Operacional para a
Sociedade de
Informação)/INE
▰ Profesionales con
alguna formación
40
PROCESOS
❑ Sesiones de Formación en
Evaluación de
Desempeño - (DNAP)
❑ Evaluación para nuevos
financiamientos de ONG
❑ Preparación Informes
ODM/ODS
❑ Demanda de organismos
de cooperación
Evaluación = Control Subjetivo
41
Cierto rechazo – se vincula la evaluación a la fiscalización
Ausencia de control. Las estructuras nacionales no tienen el control del cuando,porque y para qué los procesos de evaluación
Evaluaciones parciales. Evaluaciones limitadas a criterios de los organismosfinanciadores
42
Fortalecer la Red de ProfesionalesFormación específica y vinculación a otras redes profesionales
Realizar Evaluaciones-Piloto
(Producción y difusión de evaluaciones de calidad)
Definir Recursos(parte de fundos de políticas)
Crear una Unidad de Coordinación(Puntos focales)
Propuestas para incorporar la Evaluación como práctica sistemática
Formación “On Job”(aprender haciendo)
43
SENEGAL
Evaluation Capacity Agenda – GG
44
• DPN (gestiona
evaluaciones desde TDR a
informe)
• DREAT (Delegación para a
Reforma del Estado y
Asistencia Técnica) - BOM
• Comisión para la
Evaluación y Monitoria
• SenEval (2003/UN)
• Clear (CESAG)
45
+ de 90 Evaluaciones
“La Evaluación es una práctica Madura”
+ Focalizado en control financiero
Lomeña-Gellis, 2013
2814267 ¡Reforzar la demanda por evaluación!
¡Incrementar recursos!
!Reforzar la SenEval!
46
Retos
Institucionales
▰ Mejor definición de
responsabilidades y
Estructura
Coordinadora
▰ Mayor sinergia y
complementariedad
47
Organizacionales
▰ Deficiencias de capacitación
▰ Ausencia de sistema de comunicación de resultados
▰ Problemas de uso
Individual
Capacidades
limitadas
48
.
Intención
- Made in Africa Evaluations
Metodologías adoptadas – adaptadas (Marvin Alkin):
Evaluaciones rurales participativas
“Cambio significativo” – Rastrear resultados
Mecanismo Africano de Evaluación por Pares (APRM)
Nuevos actores - Norte/SUL
49
“Quedan muchas preguntas (...) el debate sobre la revisión entre pares abrió un
espacio para que las organizaciones de la sociedad civil de África busquen y
establezcan procesos análogos para que los gobiernos y los líderes africanos rindan
cuentas de los compromisos asumidos y de sus decisiones. Quizá, es aquí donde se
podría encontrar la mayor esperanza de que haya una rendición de cuentas y una revisión eficaz.” (Cilliers, Institute for Security studies, 2002:14)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Mesa redonda: Perspectivas sobre la evaluación en Canarias
• Daniel Cerdán Elcid, Comisionado de Transparencia yAcceso a la Información Pública (Parlamento de Canarias).
• Pedro Pacheco González, Presidente de la Audiencia deCuentas de Canarias.
• Pablo Javier Hernández Bolaños, Director General de laDirección General de Modernización y Calidad de losServicios.
Comisionado de Transparencia y Acceso a la Información Pública de Canarias
EVALUACIÓN DE LA TRANSPARENCIA:
UN CAMINO PARA LA EVALUACIÓN
DE LAS POLÍTICAS PÚBLICAS
Mesa redonda: Perspectivas sobre la evaluación en Canarias
‘Jornadas de intercambio sobre evaluación de políticas públicas’
53
"Sí, como lo cuentas, cuenta".
29/05/2019
54
ISí, como lo cuentas, cuenta.
En la transparencia cuenta el quien se es,el quien hace o deshace quéo dice que hará.
Cuenta tanto el donde del qué como su cuándo y su cuánto, Y tanto su costo y su cómo.
29/05/2019
55
IIEn la rendición de cuentas cuenta, además, un plan y su horizonte, el punto qué se alcanzó, el qué no, y el que entregó el azar.
El porqué asíY el porque nó asao.
29/05/2019
56
IIISí, como lo cuentas, cuenta.Cuenta el quién qué, cómo, costo, cuándo, cuánto y porqué.Si falta el qué, es apariencia. Si falta el resto, mera ocurrencia. Si exceso del qué, propaganda.
Y es excelencia si todo se traza, a instancia de quien, a modo y a santo de qué, y aflora a la luz cuando se demanda.
29/05/2019
¿QUÉ ENTIDADES TIENEN LA
OBLIGACIÓN DE PUBLICAR
INFORMACIÓN?
Sujetos obligados
29/05/2019 58
Artículo 2.1 de la
Ley 12/2014
Sujetos obligados
Administración pública de la Comunidad
Autónoma de Canarias
Cabildos insulares y
ayuntamientos
Universidades públicas
Organismos autónomos, entidades
empresariales y entidades de
Derecho público
Sociedades mercantiles,
fundaciones y consorcios
Asociaciones constituidas por los organismos
previstos en este apartado
Sujetos obligados
29/05/2019 59
Artículo 3.1 de la
Ley 12/2014
Sujetos obligados
Partidos políticos
Organizaciones sindicales
Organizaciones empresariales
Entidades privadas
(superior a 60.000 €)
Entidades privadas (30%
del total de ingresos anuales y
mínimo de 5.000 €)
Sujetos obligados
29/05/2019 60
« Lo que no se define no se puede medir.
Lo que no se mide no se puede mejorar. Lo que no se mejora se degrada siempre. »
William Thomson Kelvin
Mapas de Obligaciones de publicidad activa (I)
6129/05/2019
Tipo de información
Inst
itu
cio
nal
Org
aniz
ativ
a
Pe
rso
nal
de
lib
re n
om
bra
mie
nto
Emp
leo
en
el s
ect
or
pú
blic
o
Ret
rib
uci
on
es
No
rmat
iva
Serv
icio
s y
pro
ced
imie
nto
s
Eco
nó
mic
o-f
inan
cier
a
Pat
rim
on
io
Pla
ne
s y
pro
gram
as
Ob
ras
pú
blic
as
Co
ntr
ato
s
Co
nve
nio
s y
en
com
ien
das
de
ge
stió
n
Co
nce
sio
nes
de
se
rvic
ios
pú
blic
os
Ayu
das
y s
ub
ven
cio
ne
s
Ord
en
ació
n d
el t
err
ito
rio
Esta
dís
tica
De
rech
o d
e a
cce
so
Tota
l ge
ne
ral
Comunidad Autónoma
9 11 6 7 7 15 8 23 7 7 2 22 20 1 8 5 3 4 165
Cabildos 12 11 5 8 8 12 9 23 7 8 2 21 16 1 5 1 1 3 153
Ayuntamientos 12 11 5 8 8 12 9 23 7 8 2 21 16 1 5 1 1 3 153
Universidades 6 11 6 7 7 9 8 15 6 7 2 22 19 1 5 1 4 136
Mapa de obligaciones
Mapas de Obligaciones de publicidad activa (II)
6229/05/2019
Tipo de información
Inst
itu
cio
nal
Org
aniz
ativ
a
Pe
rso
nal
de
lib
re n
om
bra
mie
nto
Emp
leo
en
el s
ect
or
pú
blic
o
Ret
rib
uci
on
es
No
rmat
iva
Serv
icio
s y
pro
ced
imie
nto
s
Eco
nó
mic
o-f
inan
cier
a
Pat
rim
on
io
Pla
ne
s y
pro
gram
as
Ob
ras
pú
blic
as
Co
ntr
ato
s
Co
nve
nio
s y
en
com
ien
das
de
ge
stió
n
Co
nce
sio
nes
de
se
rvic
ios
pú
blic
os
Ayu
das
y s
ub
ven
cio
ne
s
Ord
en
ació
n d
el t
err
ito
rio
Esta
dís
tica
De
rech
o d
e a
cce
so
Tota
l ge
ne
ral
OOAA y EEPP de cabildos
3 6 5 6 8 8 10 1 7 2 21 16 1 5 1 3 103
Sociedades mercantiles de universidades
3 6 4 6 6 6 7 22 18 1 5 1 4 89
OOAA y EEPP de la CAC
3 6 5 7 7 8 10 1 7 2 22 18 1 5 1 4 107
OOAA y EEPP de universidades
3 6 5 7 7 8 10 1 7 2 22 18 1 5 1 4 107
Asociaciones públicas
6 8 3 7 7 6 12 4 7 21 7 1 3 92
Mapa de obligaciones
Mapas de Obligaciones de publicidad activa (III)
6329/05/2019
Tipo de informaciónIn
stit
uci
on
al
Org
aniz
ativ
a
Pe
rso
nal
de
lib
re
no
mb
ram
ien
to
Emp
leo
en
el s
ect
or
pú
blic
o
Ret
rib
uci
on
es
No
rmat
iva
Serv
icio
s y
pro
ced
imie
nto
s
Eco
nó
mic
o-f
inan
cier
a
Pat
rim
on
io
Pla
ne
s y
pro
gram
as
Ob
ras
pú
blic
as
Co
ntr
ato
s
Co
nve
nio
s y
en
com
ien
das
de
ge
stió
n
Co
nce
sio
nes
de
se
rvic
ios
pú
blic
os
Ayu
das
y s
ub
ven
cio
ne
s
Ord
en
ació
n d
el t
err
ito
rio
Esta
dís
tica
De
rech
o d
e a
cce
so
Tota
l ge
ne
ral
Fundaciones y consorcios de la CAC
3 6 4 6 6 7 7 22 18 1 5 1 4 90
Sociedades mercantiles de cabildos
3 6 4 5 7 6 6 21 16 1 5 1 3 84
Sociedades mercantiles de la CAC
3 6 4 6 6 6 7 22 18 1 5 1 4 89
Fundaciones y consorcios de universidades
3 6 4 6 6 7 7 22 18 1 5 1 4 90
Fundaciones y consorcios de cabildos
3 6 4 5 7 7 6 21 16 1 5 1 3 85
Mapa de obligaciones
¿CÓMO SE EVALÚA EN CANARIAS?
Índice de Transparencia de Canarias(ITCanarias)
Índice de Transparencia de Canarias
(ITCanarias)
6529/05/2019
ITCanarias
ICPA
ICIO ICS
ITV
Nota: El ICPA es uno de los dosindicadores que establece MESTA,la metodología desarrollada por elCTBG y la AEVAL.
Nota: El ITV surge como laevaluación de buenasprácticas de transparenciano contempladas en lalegislación.
Metodología de evaluación
29/05/2019 66
Indicador de Cumplimiento en
Publicidad Activa
(ICPA)
Metodología de evaluación
Indicador de Cumplimiento en
Publicidad Activa (ICPA) (I)
6729/05/2019
ICPAGrado de cumplimiento en
relación a las obligaciones de transparencia en publicidad
activa
ICSGrado de cumplimiento de las obligaciones con
respecto al soporte donde residen
ICIOGrado de cumplimiento de las obligaciones en la
publicación y el contenido
Metodología de evaluación
Indicador de Cumplimiento en
Publicidad Activa (ICPA) (II)
6829/05/2019
Indicador de Cumplimiento de la Información Obligatoria (ICIO)
Contenido
Forma de publicación
Actualización
Accesibilidad
Reutilización
Indicador de Cumplimiento del Soporte web (ICS)
Lugar de publicación
Accesibilidad web
Estructura
Buscador interno
Metodología de evaluación
Indicador de Cumplimiento de la
Información Obligatoria (I)
Para obtener el ICIO se deben seguir los siguientes pasos:
1. Se valoran los cinco criterios para cada obligación de 0 a 100.
2. Se suman todos los criterios, multiplicados por el peso
correspondiente:
3. Se divide la suma ponderada entre 100.
4. Se halla la media de todas las obligaciones de la entidad.
6929/05/2019
Criterio ContenidoLugar de
publicaciónActualización Accesibilidad Reutilización
Peso 40% 5% 30% 5% 20%
Metodología de evaluación
Indicador de Cumplimiento del
Soporte web
Para calcular el ICS se deben seguir los siguientes pasos:
1. Se valoran los 4 criterios.
2. Se suman todas las puntuaciones de los criterios.
3. Se divide la suma entre 400.
7029/05/2019
Nota: Cada criterio del ICS pesa un 25 % de lanota final del indicador, lo que equivale amultiplicar cada criterio por ¼. Por eso sedivide entre 400.
Metodología de evaluación
Indicador de Cumplimiento en
Publicidad Activa (ICPA)
7129/05/2019
ICPA
30% ICS
70% ICIO
Metodología de evaluación
7229/05/2019
Pero, recordamos que el ITCanarias se obtiene de la suma de
dos indicadores:
Índice de Transparencia de Canarias (ITCanarias)
ICPA ITVITCanaria
s
Metodología de evaluación
29/05/2019 73
Indicador de Transparencia
Voluntaria
(ITV)
Metodología de evaluación
Indicador de Transparencia
Voluntaria (ITV) (I)
7429/05/2019 Metodología de evaluación
ITV
Informe anual
Ordenanza, reglamento o protocolo de
Transparencia
Información sobre las leyes
de transparencia
Enlace al Comisionado de Transparencia
Sistema de medición de
visitas al portal de Transparencia
Adecuada colaboración con el Comisionado
de Transparencia
Se valoran estas seis buenas prácticas.
Indicador de Transparencia
Voluntaria (ITV) (II)
Para calcular el ITV se deben seguir los siguientes pasos:
1. Todas las prácticas se puntúan con un 1 si se cumplen o un 0 si
no, salvo la 6ª.
2. Para valorar la 6ª se tiene en cuenta la fecha de remisión de la
información de transparencia al Comisionado:
7529/05/2019 Metodología de evaluación
Plazos de
remisión
Plazo
ordinarioPrórrogas
Puntuación 1Disminuirá en función del
número de prórrogas dadas
Indicador de Transparencia
Voluntaria (ITV) (III)
7629/05/2019 Metodología de evaluación
ITV
40 % 2ª, 3ª, 4ª y
5ª
60 % 1ª y 6ª
APLICACIÓN T-CANARIA Autodiagnóstico y evaluación del Índice
de Transparencia de Canarias
Aplicación T-Canaria (I)
7829/05/2019 Aplicación T-Canaria
Mediante Resolución de 22 de diciembre de 2017, aprobamos laaplicación telemática sobre el Índice de Transparencia de Canarias(ITCanarias) con el siguiente propósito:
« A fin de normalizar y coordinar el cumplimiento a las obligacionesde información sobre transparencia, se ha elaborado un algoritmo enuna aplicación telemática para recopilar la información necesaria delos sujetos obligados y facilitar su posterior tratamiento por parte delComisionado de Transparencia, a la vez que permite su propiaautoevaluación a las entidades públicas. »
Aplicación T-Canaria (II)
7929/05/2019 Aplicación T-Canaria
Aplicación T-Canaria (III)
8029/05/2019 Aplicación T-Canaria
El proceso de evaluación en la aplicación consta de seis fases:
1. Autorizaciones de los usuarios para cargar y/o remitir la
información.
2. Cumplimentación de los cuestionarios y
autoevaluación.
3. Remisión de los cuestionarios.
4. Evaluación provisional.
5. Alegaciones.
6. Evaluación definitiva.
Aplicación T-Canaria (IV)
8129/05/2019 Aplicación T-Canaria
Para la evaluación de la transparencia cada entidad debecontestar tres cuestionarios implementados en la aplicación:
Cuestionario General de
transparencia
8229/05/2019 Aplicación T-Canaria
En este cuestionario la entidad debe responder una serie depreguntas de control sencillas sobre su transparencia, entre lasque se incluyen las seis buenas prácticas del Indicador deTransparencia Voluntaria (ITV). Además, podrá realizar cualquieraclaración que considere oportuna sobre el mismo.
Cuestionario de acceso a la
información pública (I)
8329/05/2019 Aplicación T-Canaria
En este cuestionario se solicitan las estadísticas de solicitudes dederecho de acceso que ha recibido la entidad por estado detramitación en filas y tipos de información en columnas.
Cuestionario de acceso a la
información pública (II)
8429/05/2019 Aplicación T-Canaria
Para cumplimentarlo:
• Seleccione el botón verde
situado a la izquierda de cada
estado de tramitación.
• Indique el número de
solicitudes correspondiente
por tipo de información.
Cuestionario de publicidad
activa
8529/05/2019 Aplicación T-Canaria
Este cuestionario está preparado para recoger la información depublicidad activa de la entidad. Está formado por cuatro pestañas:Obligaciones, Soporte web, Evaluación ITCanarias y Evaluación LeyEstatal.
Pestaña Obligaciones
8629/05/2019 Aplicación T-Canaria
Para cumplimentarla
• Seleccione el botón
naranja a la izquierda de
cada tipo de información.
• Para cada obligación
indique la url donde la
publica y autoevalúe sus
características.
Pestaña Soporte Web
8729/05/2019 Aplicación T-Canaria
Se realiza una serie depreguntas organizadas encuatro bloques: Accesibilidadweb, Lugar de publicación,Estructura y Buscador.
Para cumplimentarla,responda a las preguntasrelacionadas en cada bloque.
Pestaña Evaluación ITCanarias
8829/05/2019 Aplicación T-Canaria
Se comparan los indicadores ICIO, ICS, ICPA, ITV e ITCanarias de laautoevaluación y de la evaluación de la entidad.
Pestaña Evaluación Ley Estatal
8929/05/2019 Aplicación T-Canaria
Se comparan los indicadores ICIO, ICS e ICPA de la autoevaluacióny de la evaluación de la entidad, teniendo en cuenta solo la Ley19/2013.
EVALUACIÓN DE LA
TRANSPARENCIA EN PUBLICIDAD
ACTIVA EN CANARIAS
2017
Entidades evaluadas
9129/05/2019 ITCanarias 2017
El censo de entidades públicas canarias sujetas a transparencia en el
ejercicio 2017 ascendió a 345 sujetos obligados. A todos ellos se les requirió
la participación en el proceso y, finalmente, 209 entidades colaboraron con
el Comisionado de Transparencia:
- La Administración Pública de la Comunidad Autónoma de
Canarias.
- Los siete cabildos insulares.
- Los 88 ayuntamientos.
- Las dos universidades.
- 111 entidades dependientes de las 98 Instituciones anteriores.
Entidades evaluadas: intervalo de notas
9229/05/2019 ITCanarias 2017
« Caminante no hay camino,
se hace camino al andar. »
9329/05/2019 Futuro de la Transparencia
GRACIAS POR SU ATENCIÓN
Comisionado de Transparencia y Acceso a la Información Pública de Canarias
http://transparenciacanarias.org/
@ComisionadoTC
JORNADAS DE INTERCAMBIODE EVALUACIÓN DE POLÍTICAS PÚBLICAS
Perspectivas sobre evaluación en Canarias
Santa Cruz de Tenerife 24 de Abril 2019
▪Escenario actual
▪Valorización de la contabilidad
2
Normativa estatal general
▪ Constitución Española.
▪ Ley 40/2015, de Régimen Jurídico del Sector Público.
▪ Ley 39/2015, del Procedimiento Administrativo Común de las Administraciones Públicas.
▪ Ley Orgánica 2/2012, de Estabilidad Presupuestaria y Sostenibilidad Financiera.
▪ Ley Orgánica 6/2013, de la Autoridad Independiente de Responsabilidad Fiscal.
▪ Ley 47/2003, General Presupuestaria.
▪ Ley 19/2013, de transparencia, acceso a la información pública y buen gobierno.
3
Normativa Canaria▪ Ley Orgánica 1/2018, de reforma del Estatuto de Autonomía de
Canarias.
▪ Ley 11/2006, de la Hacienda Pública Canaria.
▪ Ley 12/2014, de transparencia y de acceso a la información pública.
▪ Ley 4/1989, de la Audiencia de Cuentas de Canarias.
▪ Ley 7/2001, del Diputado del Común.
▪ Ley 14/1990, de Régimen Jurídico de las Administraciones Públicas Canarias.
▪ Decreto 212/1991, de organización de los Departamentos de la Administración Autonómica de Canarias.
▪ Decreto 4/2009, Reglamento de Organización y Funcionamiento de la Intervención General.
▪ Decreto 382/2015, Reglamento Orgánico de la Consejería de Presidencia, Justicia e Igualdad.
▪ Decreto 68/2015, Innovación y mejora de los servicios públicos de la
Administración Pública de la Comunidad Autónoma de Canarias 4
¿Quién evalúa?▪ Instituto para la Evaluación de Políticas Públicas y de la Dirección
General de Gobernanza Pública
▪ ANECA.
▪ INECSE
▪ Agencia de Calidad del Sistema Nacional de Salud
▪ ANEP
▪ Oficina Nacional de Evaluación
▪ Tribunal de Cuentas del Reino
▪ OCEX
▪ Secretarias Generales de Ministerio y Consejerías
▪ Intervención general del Estado y de Comunidades Autónomas
▪ Consejo de Transparencia Estatal, Comisionado Canario y Síndic de Greuges de Catalunya
▪ Órganos específicos de comunidades autónomas.5
ESCENARIO RESULTANTE
▪ Esta normativa presenta un panorama de concurrencia de competencias.. Multitud deórganos, descoordinación, desvinculación, falta de notoriedad, etc.
▪ En la verificación del cumplimiento de los principios de eficacia y eficiencia en la gestióneconómica y financiera de las administraciones públicas, función que deben ejecutar losórganos de control interno y externo, comprobamos que muchos de los informes deauditoría operativa o de evaluación de políticas públicas, limitan el alcance de su trabajopor la escasez de información relevante para poder emitir opinión sobre los citadosprincipios.
▪ La evaluación requiere disponer de una gran variedad de datos fiables y consistentes. Unsistema de información para la evaluación se hace esencial. Esta función la puededesempeñar la contabilidad pública, mediante un desarrollo normalizado de la clasificaciónfuncional del gasto, desglosando al detalle de políticas, programas y servicios públicos.
▪ Falta de presencia de la evaluación en los temarios de pruebas de acceso
▪ La pregunta que surge es: ¿dónde termina el ámbito de la auditoría operativa y dondeempieza el de la evaluación? O quizá son la misma cosa. ¿Puede realizarse una evaluaciónde una política pública sin analizar sus costes presupuestarios o sus ingresos?
7
SUFICIENCIA DE LA INFORMACIÓN CONTABLE TRADICIONAL PARA MEJORAR LA CALIDAD DE LOS SERVICIOS Y POLÍTICAS PÚBLICAS?
▪ La información económica, presupuestaria y financiera es poco relevante para la adopciónde decisiones en relación con la calidad de las políticas y de servicios públicos.
▪ Los responsables públicos en materia de educación, sanidad, vivienda, urbanismo, serviciossociales, etc., no utilizan este tipo de información para mejorar el grado de satisfacción delas necesidades de la ciudadanía.
▪ Actualmente el control no está satisfaciendo adecuadamente las necesidades deinformación de los gestores. Es habitual observar que los gestores crean servicios decontrol de gestión, al margen del centro directivo responsable del control. El control que selimita únicamente a denunciar irregularidades contables o de legalidad no sirve a lasdemandas actuales de los gestores.
▪ El control debe proporcionar, además, información útil y opinar sobre los resultados de la gestión del responsable político.
▪ La contabilidad pública tradicional se ha limitado a ofrecer información financiera y de ejecución presupuestaria.
▪ La contabilidad basa su esencia en la unidad de cuenta monetaria.
▪ En este nuevo marco se debe evolucionar desde un sistema de unidad de cuenta hacia la multiplicidad de unidades de cuentas.
▪ Ha de hacerse un esfuerzo importante para definir criterios, principios y reglas de contabilidad que ayuden a definir este nuevo sistema de información.
▪ La clasificación funcional del presupuesto de gastos debe normalizarse, a nivel detodas las administraciones públicas, para facilitar la identificación del gastopresupuestario destinado a una política o servicio público en concreto, por elconjunto de las Administraciones Públicas.
▪ El traje de la contabilidad de las empresas privadas no encaja satisfactoriamentecomo herramienta para la obtención de información relevante para losresponsables de la gestión pública.
▪ Los gestores públicos, los parlamentarios, los ciudadanos, demandan mucha más información que la estrictamente monetaria.
▪ La evaluación de la gestión pública exige contar con información heterogénea y variada: estadísticas, encuestas de satisfacción, informes especializados, etc.
REDEFINICIÓN DE LA CONTABILIDAD PÚBLICA
▪ Orientar la actividad de los responsables hacia la evaluación del funcionamiento de lasAdministraciones públicas como tarea principal.
▪ Evolucionar en la redefinición de la contabilidad pública, huyendo de los principios de lacontabilidad privada, para establecer principios, normas y criterios orientados a la obtenciónde información relevante para la mejora de los resultados de la gestión pública, y de lacalidad de los servicios públicos.
▪ Establecer los procesos, técnicas y métodos para que la ejecución de la función de control dela gestión económica y financiera de las AAPP evolucione hacia la evaluación de las políticasy los servicios públicos.
▪ El estado de desarrollo tecnológico actual posibilita el diseño de sistemas de información conmultiplicidad de unidades de cuenta. Contabilidad pública multidimensional.
▪ Acometer la sistematización de los procesos, imprescindible para la informatización.
▪ Establecer acuerdos y convenios que definan los indicadores aceptados por el conjunto delos agentes públicos, para la evaluación de todos y cada uno de los servicios y políticaspúblicas.
▪ Diseñar y establecer el sistema de información que soporte y gestione esta nuevaorientación.
▪ Garantizar la disponibilidad de datos para todos los actores sin más límite que el legal.
Objetivos
10
Sistema de información común para evaluar
¿?
PARLAMENTOTRIBUNAL DE
CUENTAS AEAT/ATC
ISTAC/INE/EURO STAT
AIReF
CONSEJERÍA DE
PRESIDENCIA
GOBCAN
COMUNIDAD
AUTÓNOMA DE
CANARIAS
AYUNTAMIENTOS
CABILDOS
FORMAR JUICIO CON CALIDAD SUFICIENTE PARA
VALORAR UN INTERVENCIÓN PÚBLICA
META
Rendición de cuentas telemáticas
Indicadores de gestión
Rendición de cuentas telemáticas
Indicadores de gestión
Rendición de cuentas telemáticas
Colaboración mutua
Información socio‐económica
Información estadística
UNIVERSIDADES
Rendición de cuentas telemáticas
Indicadores de gestión
Colaboración mutua
Colaboración mutua
CES: Consejo Económico y SocialISTAC: Instituto Canario de EstadísticaAIReF: Autoridad Independiente de Responsabilidad Fiscal
CIEFCAC : Central de Información Económica y Financiera Canaria
EUROSTAT: Oficina Europea de Estadística
En Funcionamiento
En proyecto
CIEF Mº HACIENDA/
CIEFCAC
Colaboración mutua
AUDIENCIA DE
CUENTAS
GRAFCAN
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Ponencia Marco
Contexto, tendencias y situación actual de la evaluación
Juan Andrés Ligero Lasa.
Co-director del Máster en Evaluación de Programas y Políticas Públicas (UCM)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
TENDENCIAS Y SITUACIÓN ACTUAL DE LA EVALUACIÓN
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Primeros años del siglo XX
Siglo XIX (final), existe un volumen suficiente deevaluaciones, lo que permite identificar un primerpunto de partida de la disciplina.
Siglo XX (principios) test estandarizados.
en 1942, Ralph Tyler, evaluación orientada porobjetivos.
Los criterios con los se juzga la acción ya no son patronesfijos, absolutos y externos, pero toman como referencia losobjetivos definidos para cada unidad.
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
La crisis positivista
• En los años 50 la idea de la evaluación aparece como disciplinacientífica para la gestión de los asuntos políticos.
• Al final de los años 60, a pesar de las expectativas, la evaluaciónno consiguió el ideal de la época de convertirse en elinstrumento científico para la toma de decisiones.
• Surgen críticas pero también soluciones.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Modelos, aproximaciones
• Modelo neo-tyleriano, incluyendo la propuesta de Stake formuladaen el "Countenance Model” (1967).
• Modelo de evaluación basado en la discrepancia (Provous, 1967).
• Modelos orientados a la decisión como el CIPP (Stufflebeam 1967).
• Modelos orientados a los efectos de los programas, como “Goals-free evaluation" (evaluación libre de objetivos) (Scriven, 1973).
• Modelos de neo-medida, de experimentación social (Boruch 1974,Campbell 1969, Rivlin & Timpane, Rossi y Williams 1972).
• Modelos de crítica y experticia de Eisner.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
1. Ampliación de la mirada al objeto
Se va de los objetivos a los resultados; surge el concepto de cajanegra; los procesos emergen.
MECANISMOS
PROCESOS
Objetivos – resultados – procesos – estructura –enfoque completo: modelo lógico con perspectiva sistémica
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Estructura
La estructura es la organización relativamente estable de
diferentes tipos de recursos para alcanzar los objetivos
del proyecto. Distingue recursos y organización.
Proceso
Secuencia de actividades que genera un valor en relación a una
determinada situación inicial.
Resultados
Cambios en la población
o en las poblaciones.
Modelo Lógico con perspectiva sistémica
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
2. Hay que enjuiciar los programas
Evaluación
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
2.1 La manera de dar valor a las cosas
Juicio por el evaluador/a:objetivista, estandarizado
Juicio por pluralidad de actores: orientación a stakeholders, 4ª generación, pluralista, participativa (instrumental)...
60`
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
3. La legitimidad de lo cualitativo
Programa Cualitativo
Cuantitativo
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
4. ¿Se usa? ¿Es útil?
Surgimiento de la preocupación por el uso. MichaelPatton publicó, en 1978, Evaluation OrientedUtilization, donde propone dar una respuestaintencional a las necesidades de evaluación de undeterminado grupo de destinatarios (primaryintended users).
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
− Cursos de formación universitaria
− Publicaciones
− Estándares de evaluación de programas (Joint Committee on
Standards for Education) (1981)
− 1984 Se funda la American Evaluation Society
− Se crean entidades para certificar a los evaluadores
− Recorte de las políticas y, por tanto, de las evaluaciones - Thatcher
(1979) y Reagan (1981)
− Extensión de test estandarizados...
Curiosamente, el evaluador que creía que las puntuaciones de los testde los alumnos ya habían sido superadas como el único criterio de éxitoestaba ahora enfrentando más test estandarizados que antes (House).
Los 80' profesionalización
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
p.e.:Test estandarizados
p.e.:Test estandarizados
Volvemos al muelle
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
5. Cambio del locus de control…
Las administraciones educativas crean sus propios gabinetes deevaluación o certificación para evaluadores:
“evaluation had become too important to be left to the evaluators,and large bureaucracies developed their own evaluation office”(House)
LOCAL ESTATAL
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
6. Cambio de los destinatarios
Propósitos evaluativos Actores que los requieren
Toma de decisiones y rendición de
cuentas (responsabilización,
accountability)
Responsables políticos u otros actores con
capacidad de decisión.
Mejora del programa y desarrollo
organizacional
Dirección u otros/as responsables de las
operaciones habituales del programa.
Comprensión del programa Personal del programa y, a veces, también
los/las participantes.
Justicia e igualdad social Participantes, sus familias y la comunidad
Jennifer Greene
Gerentes, responsables
Líderes poíticos
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
7. También ¿cambio en los propósitos?
¿ Mejora vs accountability?Jennifer Greene
Discusión entre otros Cronbach y Scriven
Propósitos evaluativos Actores que los requieren
Toma de decisiones y rendición de
cuentas (responsabilización,
accountability)
Responsables políticos u otros actores con
capacidad de decisión.
Mejora del programa y desarrollo
organizacional
Dirección u otros/as responsables de las
operaciones habituales del programa.
Comprensión del programa Personal del programa y, a veces, también
los/las participantes.
Justicia e igualdad social Participantes, sus familias y la comunidad
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
En los años 90’
• Desarrollo de sistemas de monitoreo y gestióncomo Government Performance and Results Act(GPRA).
• Evaluación orientada al consumidor (criterios decalidad final para los clientes) y otros actores:políticos, evaluadores y clientes / beneficiarios.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
8. ¿Quién ocupa la centralidad?
¿Quién ocupa la centralidad de la Evaluación?
¿Políticos, evaluadores/as o clientes?
Negociación, disputa o colaboración porla ostentación de la centralidad en laevaluación de políticas o programas
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Siglo XXI
⚫ Globalización
- extensión internacional e implicacionesintranacionales.
- homogeneización de Evaluación y políticas.
⚫ Introducción del paradigma transformador ocambio crítico:
- evaluación colaborativa democrática
- evaluación feminista, Derechos Humanos...
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
9. Homogeneización de la evaluación(y de las políticas)
Incremento de la importância de instituciones internacionales como el Banco Mundial, la OCDE, con el desarrollo de programas como PISA, o TIMSS, o PIRLS, la UNESCO o hasta la propia Unión Europea.The Global Forum on Quality Assurance in Higher Education (Eaton, 2003) o la Declaración Europea de Bolonia (2001). “World Education Indicators” con la UNESCO y la OCDE.
Los estados, en la medida en la que participan de esas organizaciones, acabanpor aplicar las recomendaciones políticas propuestas.
La evaluación puede ser un Caballo de Troya de las políticas nacionales.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
10. Ruptura de la “cuarta pared"
Con estos abordajes, se posicionan en el sistema social del programa y buscan
dilucidar las desigualdades sociales, económicas y políticas, se critican las
injusticias sociales, la concientización aumenta y la evaluación está orientada
hacia el cambio de equilibrio de poder a favor de los más desfavorecidos o, en
cualquier caso, aumenta la capacidad de los actores para representar sus
propios intereses a través de la evaluación (Patton, 2002).
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
5. Nueva traslación del locus de control
Local
Estatal
Supraestatal (instancias internacionales)
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Las 10 tendencias
1. Ampliación de la mirada sobre el objeto
2. Enjuiciar sí pero ¿cómo?
3. Legitimidad de lo cuantitativo y de lo cualitativo
4. ¿La evaluación se usa? ¿Es útil?
5. Traslación del locus de control de la evaluación: local,
estatal e internacional
6. Cambio de la preponderancia de los destinatarios...
7. y, por tanto, cambio en los propósitos de evaluación.
8. Cabe preguntarse, ¿Quién ocupa la centralidad en la
evaluación?
9. Homogeneización de la evaluación (y políticas).
10. Ruptura de la cuarta pared.
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Estado actual de la evaluación (interpretación)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Tendencias
a) Centrífuga (globalización )
b) Centrípeta (a partir de lo local)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Centrífuga (globalización )
1. Las personas que promueven la evaluación pueden ser externasa la realidad local
2. Y los destinatarios de la evaluación pueden no ser losbeneficiarios del programa (financiadores, Banco Mundial, elgobierno...)
3. Existe una pérdida de la capacidad para decidir sobreevaluaciones y políticas.
4. La globalización nos hace perder el foco de lo local y singular
5. Tendencia a la homogeneización de las evaluaciones y tambiénde las políticas.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Centrípeta (a partir de lo local)
1. Priorización como destinatarios los beneficiarios de la política yde los técnicos
2. Orientación hacia la mejora de las intervenciones.
3. Evaluaciones ad hoc para responder a intervencionesexclusivas/específicas.
4. Esto exige una mayor versatilidad de métodos y abordajes.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Tendencia mayoritaria:centrífuga
• Aumento de la importancia y control de las evaluaciones internacionales.
• Más instituciones y departamentos de evaluación internacional (en el
sistema de las Naciones Unidas, en la U.E., BM,...).
• Más oficinas y delegaciones de organizaciones internacionales en los
países.
• Inclusión de competencias de evaluación en la administración, y en
todas as áreas.
• Más ofertas de evaluaciones para consultoría internacional.
• Abordaje de la evaluación. Más enfocado en accountability y a la gran
toma de decisiones.
• Métodos para comparar. Énfasis en resultados, evaluación de impacto
• No énfasis en la la interpretación ni en los procesos. Problemas de uso.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Tendencia minoritaria: centrípeta
• Evaluaciones no periódicas, comisiones, minoria ad hoc. Hecha por la propiainstitución.
• Departamentos o personas responsables de la evaluación en la propiainstitución. Generalmente está ligada a otras habilidades comoinvestigación + calidad + aprendizaje...
• Personas interesadas en la evaluación sin ser especialistas.
• Consultoría Externa. Muy especializada y de alta calidad para respondera los requisitos.
• Destinatarios principales: responsables y ejecutores de la intervención.
• Propósitos muy variados pero muy orientada a la mejora de la propiaintervención.
• Mantenimiento de la singularidad y aumento del know how en laorganización
• Aumento del conocimiento teórico-académico sobre cómo intervenir en lasociedad.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Ocurre en contextos en los que existen entidades ounidades administrativas relacionadas con la gestión deuna intervención y con financiación propia o con capa demaniobra.
¿Dónde o en que condiciones se puede dar más este tipo de evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
En síntesis
Existencia de oferta de trabajo en evaluación, aunquesea necesario decidir el tipo de especialización.
Existencia de estructuras: organismos, sociedadesprofesionales, cursos, másteres, publicaciones ...
+
Sin embargo hay conflicto, perdida deespecificadad, capital cultural, control,cuestionamiento de la utilidad y hastaanimadversión con relación a ciertos tipos deevaluación.
-
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Desafío
Mantener nuestras propias políticas, adaptadas anuestros contextos y enfocadas en la ciudadanía.
Para eso necesitamos evaluaciones adaptadas,orientadas hacia la mejora y hacia el aprendizajecontinuo.
Es decir, la evaluación genera conocimiento,aprendizaje y mejoras sobre la intervención ypolíticas.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
A vuestra disposición [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
TALLER GRUPALElementos que favorecen el desarrollo de la evaluación
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Objetivo de la dinámica
Identificar elementos que ayuden a reforzar las instituciones,las interacciones, las capacidades y las posibilidades deevaluación para el análisis y la mejora de las políticaspúblicas.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
3 preguntas
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿Qué vamos a hacer ?
Estructura/tierra Procesos/trabajo Resultados/frutos
C1. ¿Qué tenemos en estructura ¿Qué deberíamos tener?
C2. ¿Qué procesos evaluativos tenemos? ¿Cuáles deberíamos tener?
C3. ¿Qué nos da la evaluación? ¿Qué podemos esperar de la evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra (estructura)
El trabajo
(procesos)
Los frutos
(resultado)
s)
Esquema taller
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Pregunta 1ª
C1. ¿Qué tenemos en estructura? o ¿Qué deberíamos tener?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra (estructura)
Los medios que se necesitan para “cultivar” la evaluación:
• Presupuesto
• Leyes
• Diseño orgánico de la función de evaluación
• Capacitación del personal
• Cultura y actitud evaluativa. Implicación en la evaluación
• …
…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected], 2013, p. 20
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La tierra (estructura)
Ejemplos:…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Se puede hacer evaluación
La evaluación no es característica de una determinada cultura (losindicadores apuntan una mayor utilización en países de culturaanglosajona). (...) Las evaluaciones pueden ser realizadas mismo enel cuadro de sistemas públicos non impregnados de una cultura deevaluación.
Thoenig concluye: no se considera esencial contar con expertos nicon sistemas sofisticados, porque todo funcionario público es librede decidir si realiza una evaluación.
Dicho de otra manera, los obstáculos a la evaluación son, sobretodo, pragmáticos y no de naturaleza profesional o técnica.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Pregunta 2ª
Ya tenemos preparada la tierra, la semillas y las
herramientas ahora toca trabajarla:
¿Qué procesos evaluativos tenemos?
¿Cuáles deberíamos tener?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Definición de procesos
Secuencia de acciones que con su desempeñogeneran un producto o servicio.
(con un valor añadido con relación a las“entradas” iniciales para el cliente interno oexterno )
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Los procesos = el trabajo
Lo que tengo que hacer para promover, realizar y utilizar evaluaciones
Procesos estratégicos
Necesidades estratégicas de evaluación
Gestión de la toma de decisión política
Procesos operativos
Identificación de necesidades.
Licitación o realización interna de las evaluaciones.
Gestión de las evaluaciones.
Apropiación, utilización de las evaluaciones.
Intercambio de información.
Procesos de apoyo
Capacitación en evaluación
Difusión comunicación
…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Pregunta 2ª
C2. ¿Qué procesos evaluativos tenemos?
¿Cuáles deberíamos tener?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
El trabajo (procesos)
Ejemplos:…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Frutos (los resultados)
Lo que obtengo: evaluaciones, mejores políticas, más democracia ,…
Productos Resultados
Evaluaciones Idea compartida sobre políticas
… …
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Productos y resultados
Productos: Son cosas, salidas, que produce lasevaluaciones. Por ejemplo, nº de evaluaciones,…
Resultados: son efectos, cambios en la población opoblaciones. Por ejemplo, cambio de la mentalidadsobre un programa,…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Pregunta 3ª
C3. ¿Qué nos da la evaluación?
¿Qué podemos esperar de la evaluación?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Ejemplos,
Productos Resultados
Evaluaciones Idea compartida sobre políticas
Recomendaciones Cambios, mejoras de las políticas
Nº evaluaciones Información pública
Decisiones políticas más sustentadas
… …
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Procesos
+
Resultados
+
Pista para identificar resultados
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
https://www.youtube.com/watch?v=DfGs2Y
5WJ14
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Creemos en modelos de evaluación propios quetengan sentido en cada contexto y se adecuen acada realidad.
¡Hasta mañana!
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Diagnóstico de los recursos y herramientas para la evaluación en Canarias: mapa del
sistema de evaluación canario
Aldo García Borges y Óscar Franco Alonso
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
PRESENTACIÓN
García Borges, Aldo
Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en PoblacionesUrbanas y Políticas Sociales (Universitat Oberta de Catalunya). Actualmente cursa el MásterEvaluación de Programas y Políticas Públicas de la UCM.
Su experiencia profesional se ha desarrollado en el área de la cooperación al desarrollo,fundamentalmente en torno a las políticas públicas urbanas. Sus líneas de investigación principalesson: la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de lainnovación urbana.
Franco Alonso, Óscar
Geógrafo, Máster en Evaluación de Programas y Políticas Públicas de la UCM, donde tambiénparticipa como docente y tutor. Su experiencia profesional se vincula a la evaluación, urbanismo,cooperación al desarrollo e investigación social. Los ámbitos de trabajo han sido la universidad,administración pública y consultoría privada.
Su área profesional en evaluación se desarrolla en intervención social, desarrollo comunitario,cultura, educación, salud y cooperación / educación al desarrollo. Ha participado en diferentesinvestigaciones relacionadas con vivienda y urbanismo, salud y colectivos vulnerables.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿QUÉ?
•Breve diagnóstico de la situación actual de laevaluación en canarias. Mapeo sistema deevaluación canario.
•Fases del estudio:
•Primera: Indagación a partir de fuentes primarias,secundarias, consultas y entrevistas actores clave.
•Segunda: Presentación de conclusiones, contraste eincorporación de nueva información (Jornadas deEvaluación).
•Tercera: Ajustar y ampliar el diagnóstico con nuevasfuentes e indagaciones.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿PARA QUÉ?
•Conocer la situación de la evaluación en Canarias para contribuir a unmayor desarrollo de la cultura evaluativa en Canarias.
•Conocer para …
•Saber dónde estamos.
•Toma de conciencia sobre la situación.
•Generar reflexión.
•Facilitar la toma de decisiones.
•….
•Estas jornadas son el escenario ideal para compartir el diagnóstico y podercontribuir al objetivo de las Jornadas: Favorecer la aplicabilidad de laevaluación en Canarias, a través del conocimiento.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿CÓMO?
•Diagnóstico / investigación orientada por una perspectivasistémica (novedoso): Se ha elaborado un esquemasintético del estado de la evaluación en Canarias.
•Análisis de la realidad a partir de las dimensiones que loconforman (teoría de sistemas): permite establecerrelaciones y obtener una mejor comprensión de larealidad.
•Esquema de indagación estructurado en estasdimensiones (modelo sistémico): estructura, procesos yresultados del sistema de evaluación en Canarias.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
FASES DEL TRABAJO
1.Mapeo a partir del esquema del modelo lógico, através de las siguientes técnicas:•Revisión de fuentes primarias y secundarias (revisiónweb y redes sociales, revisión documental, bases dedatos, …).
•Entrevistas con evaluadoras canarias y otros actoresde referencia en evaluación.
•Jornadas de evaluación.
2.Volcado y síntesis de información en el modelológico (siguiendo el esquema).
3.Interpretación y conclusiones del “mapeo”.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
CRITERIOS Y ACOTACIÓN DEL DIAGNÓSTICO
•Criterios (y/o):
•Procesos evaluativos localizados en el ámbito territorial de Canarias.
•Entidades, organizaciones y/o personas vinculadas con la evaluación, cuya sede o actividadprincipal está en Canarias.
•Aunque el objeto del diagnóstico es la evaluación (definición), también se han incorporado otrosprocesos / acciones que se vinculan con alguno de los propósitos de la evaluación:
•Comprensión de la intervención.
•Mejora de la política pública.
•Fundamentar la toma de decisiones.
•Transparencia y rendimiento de cuentas público.
•Dificultad para acotar con claridad los límites de la evaluación (respecto otros campos). Por eso seopta por un criterio inclusivo y amplio, para incluir otros trabajos o funciones vinculadas con algunode esos propósitos.
Evaluación: Proceso sistematizado de recogida y análisis de la información para poder comprender y dotar de significado a lo que ocurre en un programa o servicio, de lo que se deducen unos juicios específicos que permiten rendir cuentas y tomar las decisiones adecuadas que incidan en la mejora.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
ESTRUCTURA
•Recursos, orientaciones, planes, marco legal, estrategias yotros vinculados con la evaluación en Canarias.
•También los actores clave relacionados con la evaluación enCanarias: administración pública, comunidad evaluadora,tercer sector, consultorías y otras entidades.
•Equipos, unidades, departamentos, organizaciones …
•Quién encarga evaluaciones y quién las realiza.
•Es decir, las estructuras que permiten el desarrollo de losprocesos evaluativos.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
PROCESOS
•Acciones desarrolladas a partir de las estructurasexistentes, para realizar o impulsar evaluaciones.
•Jornadas, formaciones, guías metodológicas,funciones de las entidades vinculadas con laevaluación, encargos de evaluaciones,convocatorias, etc.
•Las acciones que permiten el desarrollo de losprocesos evaluativos.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
PRODUCTOS
•Evaluaciones realizadas (procesos evaluativosrealizados).
•Hemos diseñado dos indicadores:
1. Identificación de evaluaciones a partir del mapeorealizado.
2. Número de publicaciones académicas sobreevaluación, como aproximador / indicador de laactividad evaluadora. Termómetro de evaluación.
•Existe coherencia entre los productos, los procesos ylos elementos estructurales.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
PEMAC ACCUEE
Comisionado de Transparencia
Audiencia de Cuentas de Canarias
Intervención General
Servicio Eval. y Planif, Servicio Salud
Servicio Canario de Empleo
Administraciones locales
Unidad Evaluación y mejora calidad (ULL)
ESTRUCTURA
Gabinete evaluación institucional (ULPGC)
DG Modernización y calidad servicios
Coop. internacional - Ley Canaria (2009) yPlan Director 2010-13. - (1) DG Asuntos Económicos con África y (2)
Viceconsej. Acción Exterior
InterregMAC: (eje 5) GobAb
Tercer sector
(intervención social, cooperación .. )- Entidades sociales con sede en canarias (Ong, asociaciones),.
Comunidad evaluadora:- Al menos 8 consultoras canarias- Consultores independientes: 4
evaluadores canarios 17 ediciones máster evaluación UCM
Consejo Escolar Canarias
Sistema información medioambiental Canarias (SIMAC)
Normativa (Nacional)
- Ley Ley 6/2013, de la Autoridad independiente de Responsabilidad fiscal-España
- Ley de procedimiento administrativo de las Administraciones públicas-España
(39/2015)
Normativa Canaria-Ley de Transparencia-Canarias(12/ 2014)
Falta de presupuesto para evaluar.Ausencia cultura evaluación.Carencia de personal formado
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
PROCESOS
Informes anuales e Índice Transparencia Canarias
Evaluaciones y acreditaciones, programas, titulaciones, Simposio ..
Evaluaciones planes eco-financ, fiscalización gestión económica
Evaluación políticas públicas; jornada evaluación (2008) con ICAP
Evaluación tecnologías sanitarias y económicas para tomar decisiones
Sistemas evaluación internos, y
evaluación de programas
Impulso y coordinación procesos evaluativos y formativos actividad universitaria; calidad, evaluación y seguimiento
Evaluaciones, Observatorio de calidad de Tenerife ….
2 cursos sobre evaluación, 2 talleres y guía evaluación
Evaluación de políticas
3 Jornadas intercambio BBPP, 2 acciones formativas personal directivo
- Ley y PD apuestan por evaluar, no
evidencias de aplicación. - No obligación de evaluar proyectos financiados (Acc.Ext.).- Evaluaciones externas financiadas por UE/AECID.- Convocatorias, subvenciones.
- Pocas evaluaciones, menciones o herramientas evaluativas. - Solo 1 organización explicita sistemas de
evaluación internos.
- Sesgo hacia calidad, eficiencia, gestión y planificación de proyectos. - Evaluaciones de proyectos europeos.
Indicadores ambientales, inspecciones, evaluaciones políticas ..
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
PRODUCTOS
2 casos prácticos: Itinerario
Inserción Laboral SCE y La Mar
de Voluntarios
55 procesos evaluativos en el
año 2018
3 Informes anuales de
evaluación + ITC
Informe de gestión del gasto
de AAPP canarias sector
turístico (2004-2007)
Múltiples informes técnicos de
tecnologías sanitarias (2010-
2018)
- Eval resultados políticas empleo
gestionado por SCE (2017), Red2REd.
- Eval políticas empleo gestionadas por
SCE (2007), Edei
- Evaluaciones internas.
- Publicaciones académicas.
Eval. intermedia marco estratégico insular
participac ciudad. C. Tenerife, Deloitte
Informe evaluación intermedia programa
MAC (+ Planes de Evaluación)
- 1 evaluación (Hegoa)
- 2 procesos evaluativos vinculados con
cooperación y UE / ACEID (entrevistas)
- Evaluación Prog. NOVA (Proyecto
Hombre). 2018.
- Programa Engoe (2013), prevención
drogas. Fundac Canaria Yrichen
- Prog desarr rural Canarias
2007-13, RegioPlus.
- Prog operativo FEDER 2007-
13 Canarias-Quasar
- Programa operativo FSE
Canarias 2014-22,Red2Red
- Polít. Fomento Canarias
Actividades Productivas
1994-97, Arenal GC- Eval externa prog CLILL, Consejería
Educación 2014
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
INDICADORES DE RESULTADOS DE EVALUACIÓN
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
- Normativa legal, nacional o canaria:
- Ley de procedimiento administrativo de las
Administraciones públicas-España (39/2015)
- Ley de Transparencia-Canarias(12/ 2014)
- Ley 6/2013, de la Autoridad independiente de
Responsabilidad fiscal-España.
- Falta de presupuesto para evaluar.
- Ausencia de cultura de evaluación.
- Carencia de personal formado en evaluación.
INFORMACIÓN EXTRAÍDA DE LAS JORNADAS
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
CONCLUSIONES
•Coherencia en los resultados: las estructuras más definidas / desarrolladas son las quetienenmayor volumen de evaluaciones.
•La mayor actividad evaluativa en Canarias está en educación, que cuenta con laestructura más definida (ACCUEE): más de la mitad de evaluaciones identificadas sevinculan con educación.
•Los procesos evaluativos se localizan sobre todo en el ámbito público. Poca presenciade otras áreas o espacios que suelen impulsar la evaluación: cooperación internacionalo intervención social.
•En cooperación internacional se aprecian estructuras poco definidas.
•Pocas consultoras canarias que hacen evaluaciones, la mayoría de evaluacionesidentificadas son realizadas por empresas no canarias.
•Esfuerzos por impulsar la evaluación: jornadas, formaciones ..
•Mayor peso de encargos de evaluación de financiadores europeos (FEDER, Interreg.) oestatales (AECID).
•Preponderancia de la rendición de cuentas, transparencia y eficiencia pública.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
PASOS A SEGUIR
•Hemos realizado un primer diagnóstico, somosconscientes de la existencia de limitaciones (portiempos y recursos).
•El objetivo es seguir alimentando y ampliandoeste diagnóstico en el futuro.
•Esperamos que este diagnóstico haya ayudado atener una mejor visión de la situación de laevaluación en Canarias.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
CONTACTO
Para ampliar información, incorporar nuevos casos,etc.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
VENTANAS DE EVALUACIÓN
https://www.youtube.com/watch?v=iaL2Ymsy3CI&t=21s
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Diferentes métodos, diferentesusos.
Profesor de la Universidad Carlos III de Madrid. Codirector
del Máster en Evaluación de Programas y Políticas
Públicas, UCM.
Juan Andrés Ligero Lasa
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Evaluación
EFQM / TQM/ CAF
Análisis Coste Beneficio / Análisis Coste Eficacia/SROI
Certificación Normas ISO 9000/ otras normas…
Planes de calidad con o sin medición
Satisfacción ciudadano/a
Carta de servicio con o sin medición
Seguimiento / cuadro de mando integral
Auditoría contable, auditoria social,…
Investigación asociada al programa
Premios de calidad
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Evaluaciones orientadas por los métodos o las cuestiones(cuasievaluaciones)La valoración del mérito y valor es una cuestión secundaria.Suelen ser pocas cuestiones, demasiado escasas para valorar elmérito y valor.3. Estudios basados en los objetivos.4. Estudios centrados en la responsabilización (rendimiento decuenta y pago por resultados). estándares, gestión/pago porresultados, contrato servicio, gestión por resultados (MBO,PPBS). Cartas de servicio, auditorías.5. Test estandarizados.6. Evaluación de outcomes (impacto) como evaluaciones devalor añadido.7. Comprobación del desempeño.8. Estudios experimentales.9. Sistemas de información de la gestión (seguimiento, cuadrode mando integral,.,.)10. Análisis coste - beneficio.11. “Modelo Judicial” (clarifications hearing)12. Estudio de caso.13. Críticos y expertos (Criticism and Connoisseurship)14. Evaluación orientada por la Teoría del Programa.15. Estudios con articulación multimétodo (mixed methods).
Evaluaciones orientadas a la mejora y alrendimiento de cuentas16. Estudios orientados a la decisión y a laresponsabilización (accountability)17. Estudios orientados a consumidor/a18. Acreditaciones, certificaciones.**. Defensa agenda social (social agenda//advocacy)l19. Responsive evaluation (client centered studies)20. Evaluación constructivista21.Evaluación democrática deliberativa.22. Evaluación centrada en su utilización.
Pseudoevaluaciones1. Estudios inspirados en las relaciones públicas.
2. Estudios controlados políticamente.
Modelos (Stufflebeam)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Problemas con el uso, ¿falta de utilidad de la evaluación?
Reacciones contrarias: “… este desarrollo evaluativo estágenerando fuertes reacciones sociales que incluso están llevando aalgunas familias y a docentes a practicar o promover la insumisióna la realización de las pruebas externas”. (Seminario experiencias de evaluación, 2017)
Nadie cuestiona la necesidad de evaluar pero...
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿ Por qué?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
• Fundamentar la toma de decisiones y el rendimiento de cuentas(responsabilización, accountability) puede dar respuesta a las necesidadesinformativas e intereses de los responsables políticos u otros actores concapacidad de decisión.
• La mejora del programa y el desarrollo organizacional provee de unainformación valiosa para los directivos u otros responsables de lasoperaciones habituales del programa.
• La comprensión en profundidad y contextualizada del programa y susprácticas normalmente atiende a las necesidades informativas e intereses delpersonal del programa y a veces también de los participantes.
• Promover más justicia y equidad en el programa y en el contexto en el quese evalúa, sirve usualmente a los intereses de los participantes, sus familias yla comunidad.
Propósitos (Greene, 2007)
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Encuentran empleo
Formados
profesionalmente
Contactos con
empresas y
entidades
Alfabetizados
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
+
+- +
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
-
++ +
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
+
-- -
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
+
++ +
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
-
-- -
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Proceso: secuencia de actividades (talleres, atención,
cursos,…) que produce los resultados
CAJA
NEGRA?
+
- + +
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Procesos
+ +
Resultados
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Procesos
-+
Resultados
Jornada de Intercâmbio Avaliaçao Cabo Verde [email protected] / [email protected] / [email protected]
Evaluación de la estructura
Evaluación del proceso
.
Eva
lua
ció
n d
e
resu
ltad
os e
imp
acto
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Modelo lógico anonimizado
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
La utilidad de la evaluación puede depender de la realización ocumplimiento de los propósitos.
Utilidad = cumplimiento de los propósitos
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Con todos los posibles usos a los que la evaluación puede servir, laevaluadora tiene que hacer una elección. La evaluación para todoslos propósitos es un mito. Aunque un cierto número de diferentestipos de preguntas puede ser tenido en cuenta dentro de los límitesde un solo estudio, requiere de una planificación y un diseñometiculoso. Ni siquiera un estudio bien planificado ofreceráinformación sobre todas las preguntas de todas las personasinvolucradas (Carol Weiss 1998: 33).
Evaluación para todo propósito un mito
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
¿En una sóla evaluación se puede responder a todos los propósitos?
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Responsables políticos u otros actores con capacidad de decisión.
Dirección u otros/as responsables de las operaciones habituales del
programa.
Personal del programa y a veces también los/as participantes.
Participantes, sus familias y la comunidad
Actores (stakeholders)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Actores Propósitos evaluativos que
requieren
Responsables políticos u otros
actores con capacidad de
decisión
Toma de decisiones y
rendimiento de cuentas
(responsabilización,
accountability)
Dirección u otros/as
responsables de las operaciones
habituales del programa.
Mejora del programa y
desarrollo organizacional
Personal del programa y a veces
también los/as participantes.
Comprensión del programa
Participantes, sus familias y la
comunidad
Justicia y equidad social
Relación entre actores y propósitos
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
ÉNFASIS EN LA COMPRENSIÓNEvaluación orientada por los modelos lógicos de los programas y perspectiva sistémica de la evaluanda
⚫Evaluación orientada por la teoría del cambio o modelo lógico (Chen, Weiss, Rossi y Petrosino, Rogers, Heubner y
Hasci) “⚫ Responsive evaluation (Stake),
⚫Modelos lógicos:, Donabeidan, Alvira, Cohen y Franco,…⚫Estudio de caso (Stake).
ACCOUNTABILITY Y TOMA DE DECISIONES.
Juicios sumativos fundamentar accountability y toma de
decisiones.
⚫Test estandarizados
⚫Evaluaciones de valor añadido
⚫Evaluaciones por objetivos (Tyler)
⚫Cartas de servicio. /contrato programa.
⚫Normas ISO*
⚫CIPP (Stufflebeam)
⚫Análisis Coste – Beneficio, Coste –Efectividad. /SROI
⚫Modelo EFQM, CAF
⚫Juicios sumativos (Scriven)
⚫ Responsive evaluation (Stake),
ÉNFASIS EN TRANSFORMACIÓN SOCIAL
⚫Evaluación Democrática (House)⚫Evaluación feminista.
⚫EBDH (Unicef)
ÉNFASIS EN EL USO
⚫Evaluación participativa o empoderadora, (Fetterman). Orientada a los stakeholders.
Colaborativas (Cousins) Evaluación Pluralista (Monnier
⚫Evaluación orientada a la utilización (Patton)
POSIBLE PROPUESTA DE MODELOS PROCLIVES A PROPÓSITOS (elaboración propia)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Actores Propósitos Posibles métodos ,
ejemplosResponsables políticos u
otros actores con
capacidad de decisión
Toma de decisiones y
rendimiento de cuentas
(responsabilización,
accountability)
Juicios sumativos, por
ejemplo, el modelo del
CAD.
Dirección u otros/as
responsables de las
operaciones habituales
del programa.
Mejora del programa y
desarrollo organizacional
Por ejemplo, evaluación
orientada por la teoría (con
orientación a stakeholders)
Personal del programa y
a veces también los/as
participantes.
Comprensión del programa
Participantes, sus familias
y la comunidad
Justicia y equidad social Por ejemplo, evaluación
democrática.
Una propuesta
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Todos son legítimos pero escoger entre uno y otro puede que noresponda a las necesidades de los diferentes actores implicados.
Por ejemplo, puede ser útil para el rendimiento de cuentas perono para la mejora de los programas.
En educación, los test estandarizados que están muy extendidos,son adecuados para rendir cuentas pero no proveen deinformación útil para mejorar los centros educativos.
Todas las opciones son legítimas pero…
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Evaluaciones orientadas por los métodos o las cuestiones(cuasievaluaciones)La valoración del mérito y valor es una cuestión secundaria.Suelen ser pocas cuestiones, demasiado escasas para valorar elmérito y valor.3. Estudios basados en los objetivos.4. Estudios centrados en la responsabilización (rendimiento decuenta y pago por resultados). estándares, gestión/pago porresultados, contrato servicio, gestión por resultados (MBO,PPBS). Cartas de servicio, auditorías.5. Test estandarizados.6. Evaluación de outcomes (impacto) como evaluaciones devalor añadido.7. Comprobación del desempeño.8. Estudios experimentales.9. Sistemas de información de la gestión (seguimiento, cuadrode mando integral,.,.)10. Análisis coste - beneficio.11. “Modelo Judicial” (clarifications hearing)12. Estudio de caso.13. Críticos y expertos (Criticism and Connoisseurship)14. Evaluación orientada por la Teoría del Programa.15. Estudios con articulación multimétodo (mixed methods).
Evaluaciones orientadas a la mejora y alrendimiento de cuentas16. Estudios orientados a la decisión y a laresponsabilización (accountability)17. Estudios orientados a consumidor/a18. Acreditaciones, certificaciones.**. Defensa agenda social (social agenda//advocacy)l19. Responsive evaluation (client centered studies)20. Evaluación constructivista21.Evaluación democrática deliberativa.22. Evaluación centrada en su utilización.
Pseudoevaluaciones1. Estudios inspirados en las relaciones públicas.
2. Estudios controlados políticamente.
Modelos (Stufflebeam)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Creemos en modelos de evaluación propios quetengan sentido en cada contexto y se adecuen acada realidad.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Referencias
•Ligero, J.A. (2016) Tres métodos de evaluación. Juicios Finales Sumativos, teoría delcambio y evaluación orientada a los actores implicados. Madrid.
• Ligero, J.A. (2016) Dos métodos de evaluación: criterios y teoría del programa en CAF Laevaluación de políticas. Fundamentos conceptuales y analíticos. Argentina: CAF.http://scioteca.caf.com/bitstream/handle/123456789/1008/Version%20Web%20Evaluacion%20de%20politicas%20.pdf
•Ligero, J.A, Espinosa, J., Mormeneo, C. y Bustelo M. (2014). Diferentes aproximacionespara hacer una evaluación sensible al género y al Enfoque Basado en Derechos Humanospara el Desarrollo. SGCIC, Ministerio de Asuntos Exteriores y Cooperación: Madrid. (Seanexa portada y se puede bajar desde el link: http://www.aecid.es/Centro-
Documentacion/Documentos/Evaluaci%C3%B3n/diferentes_aprox_on-line_definitivo.pdf)
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Algunos links de interés
⚫African Evaluation Association o L` Associacion Africaine d`Avaluation (Accra, Ghana)
https://afrea.org
ESK | Evaluation Society of Kenya
www.esk.co.ke
⚫Blog Evaluation for Africa (E4A)
https://africaevaluation.org/Africa/purpose-of-the-blog/
⚫Association Sénégalaise d’Évaluation
https://seneval.sn
⚫APROEVAL Asociacion Iberica de profesionales por la evaluación
http://aproeval.org
⚫BetterEvaluation
https://www.betterevaluation.org
⚫Máster en Evaluación de Programas y políticas públicas
http://www.magisterevaluacion.es/
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Equipo
• Juan Andrés Ligero Lasa ([email protected])
Sociólogo con la especialidad de psicología social, tiene formación de postgrado en métodos, en técnicas deinvestigación y en evaluación de proyectos, programas y políticas. Trabaja como profesor en la Universidad Carlos IIIde Madrid y es co-director del Máster en Evaluación de Programas y Políticas Públicas de la UCM (16ª promoción),complementa su labor académica con evaluaciones de políticas y programas.
• Óscar Franco Alonso ([email protected])
Geógrafo, Máster en Evaluación (UCM). Actualmente es tutor del Magíster de Evaluación de Programas y PolíticasPúblicas de la Universidad Complutense de Madrid. Su área profesional en evaluación se desarrolla en laintervención social, desarrollo comunitario, educación, salud y cooperación/educación al desarrollo. Ha participadoen diferentes investigaciones relacionadas con vivienda, salud y colectivos vulnerables.
• Jandira Miranda Barros ([email protected])
Máster en Trabajo Social, tiene, también, formación de postgrado en evaluación de Programas y Políticas Públicas.Entre 2011 y 2014 ha desarrollado las funciones de Asesora para Asuntos Sociales de S.E. el Presidente de laRepública de Cabo Verde. Ha sido coordinadora del grado de trabajo social en el "Instituto Superior de CienciasJurídicas e Sociais" y ha enseñado materias relacionadas a las Políticas Sociales y al trabajo social en este instituto yen la Universidad Jean Piaget de Cabo Verde, ambos con sede en Praia.
• Aldo García Borges ([email protected])
Politólogo. Máster en Estudios Contemporáneos de América Latina (UCM) y Experto en Poblaciones Urbanas yPolíticas Sociales (UOC). Actualmente cursa el Máster en Evaluación de Programas y Políticas Públicas de laUniversidad Complutense de Madrid. Su experiencia profesional se ha desarrollado en el área de la cooperación,fundamentalmente en torno a las políticas públicas urbanas. En cuanto a sus líneas de investigación éstas han sido:la cooperación sur-sur, la transferencia de políticas públicas y la internacionalización de la innovación urbana.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Objetivos
Favorecer la aplicabilidad de la evaluación en Canarias, a través delconocimiento de:
• La situación de la evaluación en el contexto canario.
• Herramientas, instrumentos y recursos que favorezcan lascapacidades de evaluación.
Jornadas de Intercambio de Evaluación [email protected]/ [email protected]/ [email protected]/ [email protected]
Despedida
Muchas gracias por la invitación y por la escucha.