GUÍA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE … · 36 37. 4 ÍNDICE VII. MECANISMOS Y...

GUÍA DE SEGUIMIENTOY EVALUACIÓNDE PLANES DE ACTUACIÓNDE LOS SERVICIOS PÚBLICOS

Observatorio para la Mejora de los Servicios Públicos

GUÍA DE SEGUIMIENTOY EVALUACIÓNDE PLANES DE ACTUACIÓNDE LOS SERVICIOS PÚBLICOS

CONSEJERÍA DE JUSTICIA Y ADMINISTRACIÓN PÚBLICA


Dirección General de Modernización e Innovación de los Servicios Públicos

Edita: Consejería de Justicia y Administración Pública

Dirección General de Modernización e Innovación de los Servicios Públicos

Fecha de edición: Noviembre 2008

Consejería de Justicia y Administración Pública. Junta de Andalucía

3ÍNDICE

I. PRESENTACIÓN - página 5

II. INTRODUCCIÓN - página 6

2.1. Qué es la Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos2.2. Contextualización2.3. El papel del Observatorio para la Mejora de los Servicios Públicos2.4. Objetivos de la Guía de seguimiento y evaluación de planes de actuación de los

servicios públicos

III. GUÍA RÁPIDA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE ACTUACIÓN - página 13

IV. EL SEGUIMIENTO Y LA EVALUACIÓN - página 16

4.1. El seguimiento y la evaluación de planes de actuación4.2. Conceptos claves4.3. Características del seguimiento y la evaluación4.4. Porqué realizar el seguimiento y la evaluación de planes de actuación

V. EL MODELO DE SEGUIMIENTO Y EVALUACIÓN DEL OBSERVATORIO - página 22

VI. CÓMO EL OBSERVATORIO DA APOYO Y SOPORTE EN EL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN - página 25

6.1. Seguir y evaluar 6.1.1. Recoger información relevante 6.1.2. Analizar la información recogida 6.1.3. Elaborar el informe de resultados 6.1.4. Divulgar los resultados obtenidos

6.2. Revisar y redefinir: retroalimentación del plan de actuación 6.2.1. Detectar las necesidades de la unidad 6.2.2. Redefinir el plan de actuación 6.2.3. Monitorización del plan de actuación

ÍNDICE

67

11

12

16181920

2626293232

34343637

4 ÍNDICE

VII. MECANISMOS Y HERRAMIENTAS DEL OBSERVATORIO PARA SOPORTE DEL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN - página 39

7.1. Servicios de apoyo y asesoramiento 7.1.1. Evaluación de políticas públicas 7.1.2. Barómetro de satisfacción de la ciudadanía 7.1.3. Banco de Expectativas ciudadanas 7.1.4. Banco de Buenas Prácticas

7.2. Herramientas de recogida de información 7.2.1. Cuestionarios online 7.2.2. Foros y grupos de análisis online 7.2.3. Peticiones

7.3. Herramientas de gestión y seguimiento 7.3.1 Cuadro de mandos integral

7.4. Espacios de difusión 7.4.1. Espacio de Noticias y novedades 7.4.2. Espacio de Documentación

VIII. ANEXO I: TIPOS DE EVALUACIÓN - página 46

8.1. Tipos de evaluación según quién evalúa8.2. Tipos de evaluación según su función8.3. Tipos de evaluación según su contenido8.4. Tipos de evaluación según la fase o el momento en el que se plantea

IX. ANEXO II: TÉCNICAS DE ANÁLISIS EMPLEADAS PARA EL SEGUIMIENTO Y LA EVALUACIÓN - página 54

9.1. Técnicas de recogida de información9.2. Técnicas de análisis9.3. Modelos de seguimiento y evaluación

X. ANEXO III: GLOSARIO DE TÉRMINOS MÁS IMPORTANTES - página 76

XI. ANEXO IV: LISTADO DE FIGURAS Y CUADROS - página 86

11.1. Listado de figuras11.2. Listado de cuadros

XII. BIBLIOGRAFÍA - página 90

4040414141

41414242

4242

454545

47485052

555966

8788

5PRESENTACIÓN

I.PRESENTACIÓN

La gestión de la calidad y la necesidad de evaluar las actuaciones que desarrolla la administración se han convertido en factores clave para seguir avanzan-do en el proceso de modernización y de mejora de los Servicios Públicos andaluces. ¿Por qué interesa gestio-nar la calidad y evaluar el impacto de aquello que hace la administración? Recientemente, las organizaciones públicas están experimentando una fuerte renovación de su modo de hacer y de sus comportamientos como manifestación de una nueva filosofía de gestión y de funcionamiento orientada a la mejora continua de los servicios, y más atenta a las necesidades y expectati-vas de la ciudadanía.

Asistimos, actualmente, a una situación excep-cional de transformación de la Administración de la Junta de Andalucía, que viene impulsada por el pro-tagonismo de una sociedad andaluza más compleja, diversa social y culturalmente y participativa, que de-manda una mayor información y participación en los asuntos públicos y que precisa de una respuesta cada vez más ágil, eficaz y próxima por parte de los servi-cios públicos. Asimismo, nos encontramos inmersos en la era de la información y la comunicación y las posibilidades que ofrece la aplicación de las nuevas tecnologías, por un lado, permiten establecer nuevas vías de comunicación o interacción con la ciudadanía y, por otro lado, imponen a la administración la nece-sidad de incorporar las mismas a la gestión cotidiana de los servicios.

Ante las oportunidades que plantea esta coyun-tura, la Junta de Andalucía ha asumido un decidido compromiso para implantar, extender y sistematizar instrumentos y herramientas para el seguimiento de la calidad, tal como expresa el Decreto 317/2003, de 18 de noviembre, ampliado por el Decreto 177/2005, de 19 de julio, que regula las Cartas de Servicios, el siste-ma de evaluación de la calidad de los servicios y se esta-blecen los Premios a la Calidad de los Servicios Públicos, que se magnifica en el artículo 6 “Sobre la calidad de los servicios” de la Ley 9/2007, de 22 de octubre, de la Administración de la Junta de Andalucía (LAJA) cuan-do se recoge la necesidad de llevar a cabo la mejora continua de la calidad a través de sistemas de gestión y evaluación.

En aras de ofrecer una mayor transparencia hacia la ciudadanía y obtener una mayor legitimidad respec-to a las actuaciones desarrolladas, la administración

en su conjunto tiene la obligación de rendir cuentas y justificar, en términos de coherencia y pertinencia, la utilización de recursos, las decisiones y los resulta-dos del ejercicio de facultades y el cumplimiento de funciones. Esto requiere la adopción de modos de ha-cer, pautas y comportamientos concretos que afectan al seguimiento y la evaluación de todos los procesos claves desarrollados.

De la comprensión de la necesidad de sistemati-zar las funciones del seguimiento y evaluación, de-pende la capacidad de generar vínculos de confianza hacia la ciudadanía, así como establecer metas co-munes implicando a los/as propios/as profesionales al servicio de la Junta de Andalucía. De hecho, no sería posible avanzar en la mejora continua de los servicios sin la colaboración y el compromiso de las empleadas y los empleados públicos que hacen posi-ble la prestación de servicios de calidad.

La mejora continua de los servicios es abordada como un proceso que ha de culminar en mayores co-tas de satisfacción respecto a las necesidades y ex-pectativas ciudadanas. Algunos de los instrumentos impulsados en este sentido son ya conocidos. Sirva de ejemplo el Barómetro de satisfacción de la ciuda-danía del Observatorio para la Mejora de los Servicios Públicos (a través del que se extraen conclusiones globales respecto a cómo perciben los/as andaluces/zas la Administración andaluza), o el propio sistema de seguimiento de las Cartas de Servicios (esencial para cada unidad a la hora de recabar información útil que permita adecuar la gestión de los servicios a las necesidades y expectativas).

Además, y en esta línea, los órganos, organismos y unidades de la Junta de Andalucía están realizando un esfuerzo importante para incorporar a la gestión interna la aplicación de modelos y herramientas de seguimiento y evaluación de la calidad de referen-cia, tales como el Modelo EFQM, que sitúan al/la ciudadano/a en el centro de sus actuaciones.

En base a la consideración de todas estas cuestio-nes, se pretende establecer una Guía novedosa que asiente las bases conceptuales y procedimentales, para el conjunto de actuaciones encaminadas a rea-lizar el seguimiento y la evaluación de los planes de mejora y de actuación en Andalucía.

6

GUÍA DE SEGUIMIENTO Y EVALUACIÓN

DE PLANES DE ACTUACIÓN DE LOS SERVICIOS PÚBLICOS

Contenidos del apartado:•1. Qué es la Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos2. Contextualización. 3. El papel del Observatorio para la Mejora de los Servicios Públicos. 4. Objetivos de la Guía de seguimiento y evaluación de planes de actuación de los servicios públicos.

Palabras clave: •Esquema REDER, Excelencia, Mejora continua, Modelo EFQM,Plan de actuación.

INTRODUCCIÓN

2.1. Qué es la Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos

La Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos es un documen-to dirigido a impulsar las orientaciones expresadas en el Decreto 317/2003, ampliado por el Decreto 177/2005, de 19 de julio, que regula las Cartas de Servicios, el sistema de evaluación de la calidad de los servicios y se establecen los Premios a la Cali-dad de los Servicios (en adelante Decreto 317/2003); así como a dar respuesta al objetivo recogido en la nueva Ley de la Comunidad Autónoma de Andalucía 9/2007, de 22 de octubre, de la Administración de la Junta de Andalucía, concretamente en su artículo 6 sobre la “Calidad de los servicios”, de promocionar la mejora continua de la calidad a través de sistemas de gestión y evaluación orientados al logro de la Excelen-cia en la gestión.

La presente Guía se compone de siete apartados y cinco anexos.

En los apartados 1 y 2 se presenta la guía y su finalidad, así como el papel del Observatorio para la Mejora de los Servicios Públicos en materia de segui-miento y evaluación de planes de actuación.

En el apartado 3 se incluye una tabla síntesis que recoge las principales etapas y tareas para el segui-miento y evaluación de planes, según el modelo defi-nido por el Observatorio, acompañadas cada una de ellas, y de manera orientativa, tanto de las metodolo-gías y técnicas que pueden aplicarse como de los ser-vicios y herramientas del Observatorio que pueden apoyarlas y soportarlas.

Los conceptos teóricos en torno a los que se ela-bora esta guía se exponen en el apartado 4. También, se exponen las principales características del segui-miento y la evaluación, haciendo hincapié en aquellas que atañen al seguimiento y evaluación de los planes de actuación.

En los apartados 5 y 6 se describen los rasgos que fundamentan el enfoque práctico diseñado por el Observatorio, así como las distintas fases y tareas

II.INTRODUCCIÓN

7

GUÍA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE ACTUACIÓN DE LOS SERVICIOS PÚBLICOS

INTRODUCCIÓN

que configuran un modelo propio de seguimiento y evaluación aplicado a los planes de actuación elabo-rados en Andalucía. Dicho modelo, tal como se desa-rrolla en el apartado 7, se acompaña de diferentes instrumentos y herramientas que facilitan la recogida y el análisis de información a las unidades.

En la parte final del documento se incluyen varios anexos que recogen los principales modelos y técnicas aplicados al seguimiento y evaluación de políticas y planes públicos, así como un breve glosario especializado en la materia. El anexo I reco-ge una clasificación de los modelos más destacados en la evaluación de servicios públicos. Las técnicas de recogida de información y de análisis más utilizadas dentro de este ámbito se describen en el anexo II.

Por último, se recoge la Bibliografía de referencia para la elaboración de esta guía.

2.2. Contextualización

Las nuevas exigencias y necesidades de una so-ciedad andaluza plural y moderna fruto de las trans-formaciones producidas en el seno de la misma, así como las oportunidades que ofrecen las nuevas tec-nologías, configuran una situación excepcional para la mejora de la calidad y la modernización de los Ser-vicios Públicos andaluces. Por este motivo, la Junta de Andalucía ha asumido un decidido compromiso de renovación de la Administración andaluza inspirado en los valores de transparencia, agilidad y eficiencia.

De esta manera, en los últimos años los órganos e instituciones de la Junta de Andalucía están realizan-do un importante esfuerzo para mejorar la calidad de sus servicios y para implantar herramientas de segui-miento y evaluación de los resultados obtenidos y de los efectos o impactos producidos en la ciudadanía.

En esta línea, la aprobación de la nueva Ley de la Comunidad Autónoma de Andalucía 9/2007, de 22 de octubre, de la Administración de la Junta de An-dalucía (conocida como LAJA), concretamente en su artículo 6 sobre la “Calidad de los servicios”, viene a dar un mayor impulso a la promoción de la mejora continua de la calidad a través de sistemas de gestión y evaluación orientados al logro de la Excelencia en la gestión.

La sistematización de las funciones de seguimiento y evaluación se convierten en un elemento fundamental para avanzar en el proceso de mejora y de moderni-zación de los Servicios Públicos andaluces.

A fin de dar respuesta a estas nuevas exigencias y facilitar a las unidades de la Administración andaluza la adopción de una cultura de mejora continua, la Di-rección General de Modernización e Innovación de los Servicios Públicos, de la Consejería de Justicia y Ad-ministración Pública, mediante el Observatorio para la Mejora de los Servicios Públicos, como instrumen-to al servicio del análisis del entorno de los servicios públicos y el estudio de la percepción y expectativas que de éstos tiene la ciudadanía, ha elaborado la pre-sente Guía de seguimiento y evaluación de planes de ac-tuación de los servicios públicos.

El seguimiento y la evaluación permiten determi-nar la pertinencia, la eficiencia, la eficacia, el efec-to y la sostenibilidad de las actuaciones realizadas respecto a los logros o resultados alcanzados, y con ello, a su vez, aprender del conocimiento generado facilitando el proceso de mejora continua.

Las actuaciones realizadas en este sentido des-cansan fundamentalmente sobre tres pilares, que han sido objeto de regulación por el Decreto 317/2003:

Las Cartas de Servicios.•Los Sistemas de Evaluación de la Calidad •de los Servicios.Los Premios a la Calidad de los servicios pú-•blicos de la Junta de Andalucía.

En lo que concierne a la evaluación de la calidad de los servicios, la Junta de Andalucía ha adoptado el Modelo EFQM de Excelencia, en su versión para el Sector Público y las Organizaciones del Voluntariado1, con objeto de acercar a las unidades un instrumento de fácil aplicación para que éstas puedan realizar su autoevaluación y detectar aquellas áreas susceptibles de mejora.

El Modelo EFQM orienta a los órganos e instituciones de la Junta de Andalucía en su camino hacia la Exce-lencia y la mejora continua y es, también, el marco conceptual y teórico en base al que se ha elaborado la presente guía.

1. Consejería de Justicia y Administración Pública (2004). Modelo EFQM de Excelencia en la Junta de Andalucía. Versión 0.2. Junta de Andalucía. También, véase anexo II. Técnicas de análisis empleadas para el seguimiento y la evaluación, en relación con el Modelo EFQM.

8



El Modelo EFQM es un instrumento ampliamen-te contrastado y un marco de trabajo no prescriptivo que orienta a las organizaciones hacia el camino a la Excelencia, entendida ésta como el modo sobresa-liente de gestionar la organización y obtener resulta-dos. Este modelo propone la autoevaluación, el aná-lisis y el trabajo de potenciación de nueve Criterios (figura 1):

Estos Criterios se interrelacionan de manera diná-mica. Los Criterios Agentes (Liderazgo, Política y es-trategia, Personas, Alianzas y Recursos, y Procesos) que abordan cómo se gestiona la organización, son facilitadores de los Criterios Resultados (Resultados en las Personas, Resultados en la Sociedad y Resultados Clave) que abordan lo que la organización logra, es

decir, sus resultados. Los resultados excelentes con respecto al rendimiento general de una organización, en sus clientes, personas y en la sociedad en la que actúa, se logran mediante un liderazgo que dirija e impulse la política y la estrategia, que se hará reali-dad a través de las personas, las alianzas y recursos y los procesos.

Esta relación dinámica, también, se retroalimen-ta, ya que en función de los resultados alcanzados en los/as clientes, las personas y en la sociedad, ha de redefinirse y reajustarse la política y la estrate-gia de la organización, así como las alianzas y recur-sos y la gestión de las personas que hagan posible su despliegue.

En este punto, las tareas de seguimiento y evaluación desempeñan una importante función para reajustar o reorientar la política y la estrategia a la generación de resultados que satisfagan las expectativas y necesi-dades de los/as clientes, las personas y la sociedad.

Se trata de extraer información a partir de:

El seguimiento de la política y la estrategia •de la organización, que permita:

Detectar puntos críticos o deficitarios »que dificulten su despliegue.Iniciar las acciones correctoras que se »consideren necesarias.Determinar y explicar aquellas actuacio- »nes o factores que intervienen de manera determinante en los resultados y logros alcanzados, con el objetivo de evaluarla coherencia entre las personas, las alian-zas y recursos empleados y esos resulta-dos obtenidos.

INTRODUCCIÓN

Figura 1 : Criterios del Modelo EFQM.

Liderazgo

Personas

Política yestrategia

Alianzas yrecursos

Resultadosen las personas

Resultadosen los clientes

Resultadosen la sociedad

ProcesosResultados

clave

AGENTES FACILITADORES

INNOVACIÓN Y APRENDIZAJE

RESULTADOS

9


La evaluación de los resultados conseguidos, •que facilite:

Detectar áreas de mejora y apoyar la »toma de decisiones para la redefinición de la política y la estrategia de la orga-nización.Identificar aquellas iniciativas, experien- »cias o prácticas con las que se han ob-tenido mejores resultados y que puedan ser replicadas en el futuro. De tal mane-ra, que pueda aprenderse de lo realizado y extrapolar dichas experiencias y prácti-cas al resto de la organización (aprendi-zaje basado en el benchmarking).

La Guía de seguimiento y evaluación de planes de actua-ción de los servicios públicos es un producto en base a la evaluación que realiza el Modelo EFQM respecto a la Política y estrategia y los Resultados clave, en los/as

clientes, las personas y la sociedad. La Guía es resulta-do del despliegue de estos criterios.

El conocimiento generado durante el seguimiento y la evaluación retroalimenta el proceso de mejora continua de la organización, como se muestra en la figura 2.

El seguimiento y la evaluación son elementos intrínsecos al Modelo EFQM y al esquema lógico REDER que lo fundamenta. Concretamente, este mo-delo trata de mejorar tanto los Resultados como la gestión de los Agentes Facilitadores que los soportan, a través de un proceso de mejora continua que se compone de varios pasos y que se conoce como el “esquema REDER”. Este esquema, igualmente, está fundamentado en el clásico ciclo de la mejora Plan-Don-Check-Act2 (Planificar-Efectuar-Evaluar-Ajustar).

INTRODUCCIÓN

2. El ciclo PDCA es una estrategia de mejora continua de la calidad que parte del concepto ideado por Walter A. Shewhart y que se basa en el despliegue de cuatro pasos: Planificar-Efectuar-Evaluar-Ajustar.

Figura 2. Proceso de mejora continua basado en el seguimiento y evaluación de los Criterios del Modelo EFQM: la Política y la estrategia y los Resultados.

Liderazgo

Personas


Alianzas yrecursos

Resultadosen las personas

Resultadosen los clientes

Resultadosen la sociedad

ProcesosResultados

clave

Seguimiento y Evaluación

Seguimiento y Evaluación

Satisfacciónde la

ciudadaníay/o

grupos deinterés

Expectativasde la

ciudadaníay/o

grupos deinterés

10



INTRODUCCIÓN

La palabra REDER (en inglés, RADAR) se corres-ponde con unas siglas que recogen cinco elementos: Resultados, Enfoque, Despliegue, Evaluación, Revi-sión (figura 3).

Para que una organización pueda abordar su pro-ceso de mejora continua, ha de revisar, de forma sis-temática, cada uno de los Criterios del Modelo EFQM de la forma siguiente:

Determinar los • Resultados que la organiza-ción quiere conseguir como parte del proce-so de elaboración de su política y estrategia. Estos resultados cubren el rendimiento de la organización, tanto en términos económicos y financieros como operativos, así como las percepciones de todos los grupos de interés de la organización.Planificar y desarrollar una serie de • Enfoques sólidamente fundamentados e integrados, que conduzcan a la organización a obtener los resultados determinados anteriormente ahora y en el futuro.Desplegar• los enfoques de forma sistemática para asegurar una completa implantación.Evaluar• y Revisar los enfoques utilizados, ba-sándose en el seguimiento y el análisis de los resultados alcanzados y en las actividades continuas de aprendizaje. Finalmente, iden-

tificar planes de mejora, establecer priorida-des, planificar e implantar las mejoras que sean necesarias.

La revisión de los Criterios del Modelo EFQM, se-gún el esquema REDER, exige a las unidades realizar un esfuerzo de evaluación/autoevaluación de sus es-trategias, de su actividad y de sus resultados. La pre-sente guía trata de facilitar la aplicación del Modelo EFQM, ya que ayuda a las unidades a sistematizar en su actividad los pasos de evaluación y revisión con-templados por el esquema REDER.

Para que dicho esfuerzo sea posible, además de la iniciativa necesaria por parte de las unidades, éstas han de conocer y asimilar distintas metodologías y técnicas de seguimiento y evaluación. De ahí que la Guía sea un documento de carácter instructivo que muestra a las unidades una serie de pautas a seguir.

Con la Guía de seguimiento y evaluación de planes de ac-tuación de los servicios públicos, el Observatorio para la Mejora de los Servicios Públicos, a través de un documento de carácter didáctico, pretende facilitar a los/as responsables de las unidades de la Junta de Andalucía el seguimiento y la evaluación sistemáticos de sus planes de actuación y de mejora.

Determinar los resultados a lograr

(Results)

Desplegar losenfoques

(Deployment)

Esquema REDER(Radar)

Planificar ydesarrollar los

enfoques(Approach)

Evaluar y revisarlos enfoques y los

despliegues(Assessment and

Review)

Figura 3. Esquema lógico REDER.

11


INTRODUCCIÓN

2.3. El papel del Observatorio para la Mejora de los Servicios Públicos

El Observatorio, dentro de su labor de investigación en torno a los procesos de mejora de los servicios públicos, impulsa el seguimiento y evaluación de po-líticas públicas.

El Observatorio promueve la producción de in-formación y el análisis respecto al ciclo de políticas públicas y al desarrollo de los planes de actuación realizados en la Comunidad Autónoma de Andalucía para, con ello, contribuir a la identificación de buenas prácticas y ofrecer apoyo y asesoramiento en los pro-cesos de definición, planificación, implementación, seguimiento y evaluación de los mismos.

Este ámbito de investigación e intervención es fun-damental para seguir avanzando en la mejora de la calidad y la modernización de los Servicios Públicos y de la Administración andaluza. Por esta razón, el Observatorio trata de acompañar, apoyar y asesorar a las unidades de la Junta de Andalucía en los pro-cesos de cambio organizacional y/o de mejora conti-nua, como es el caso del desarrollo e implantación de planes de actuación.

Por ello, ha optado por desarrollar un modelo fun-damentado en una metodología propia y en el uso de técnicas basadas en la aplicación de las Nuevas Tecnologías de la Información y la Comunicación (NTIC), adaptado a las necesidades de las unidades de la Junta de Andalucía y, especialmente, aplicado al seguimiento y evaluación de los planes de actuación elaborados por éstas.

El seguimiento y la evaluación de un plan de ac-tuación se aborda como un ejercicio permanente para determinar el grado de cumplimiento de los objetivos de la unidad, así como para la detección de los pro-blemas existentes y para facilitar la posterior toma de decisiones. Esto hace posible conocer los avances realizados, las carencias detectadas y los aspectos sobre los que es necesario incidir para mejorar los resultados obtenidos y alcanzar las metas esperadas. Asimismo, se trata de abogar por un seguimiento y evaluación que cumpla con unos criterios de calidad rigurosos y que, por tanto, permita dotar de mayor fiabilidad a los resultados que se obtengan fruto de este proceso de seguimiento.

Por este motivo, dicho modelo pone a disposición de las unidades, en primer lugar, una serie de mecanis-mos y herramientas tecnológicas y, en segundo lugar, se acompaña del apoyo y el asesoramiento profesio-nal del Observatorio.

Desde el portal del Observatorio, las unidades pueden acceder a distintos servicios de apoyo (en-tre los que se destaca el apartado de Evaluación de Políticas Públicas, el Banco de Expectativas ciudada-nas y el Banco de Buenas Prácticas) y herramientas de soporte (como por ejemplo, cuestionarios online, cuadros de mandos, etc.) para facilitar la gestión del conocimiento generado durante el proceso de segui-miento y evaluación de su plan de actuación.

La Guía de seguimiento y evaluación de planes de ac-tuación de los servicios públicos elaborada por el Ob-servatorio pretende recoger unas pautas concretas, que de manera sencilla, orienten a las unidades en la adopción de metodologías de seguimiento y evalua-ción adecuadas y en la utilización de dichos servicios y herramientas en función de sus necesidades.

En esta línea, los objetivos del Observatorio en-torno al seguimiento y evaluación de planes de ac-tuación son:

Facilitar a las unidades el proceso de integra-•ción de metodologías basadas en el estableci-miento de sistemas de indicadores y cuadros de mandos para el seguimiento y evaluación de los planes de actuación en Andalucía.Apoyar a las unidades para que éstas puedan •mejorar en términos de eficacia y eficiencia la implantación de los planes de actuación, favoreciendo la realización previa de diagnós-ticos de necesidades, previsión de recursos y resultados, etc. Ayudar a las unidades en la detección de los •puntos críticos dentro del proceso vital de su plan de actuación y de las áreas de mejora. Divulgar iniciativas y experiencias conside-•radas como buenas prácticas que puedan servir de referencia a las unidades para mejo-rar la implementación y evaluación de su plan de actuación. Difundir los resultados obtenidos a partir •de la elaboración de estudios y fomentar la interacción entre las unidades y la ciudada-nía para ofrecer así una mayor transparencia hacia la ciudadanía respecto a las actuacio-nes realizadas.

12



Seguir y analizar los planes de actuación de-•sarrollados para la modernización y la mejo-ra de la calidad de los servicios públicos por la Administración andaluza. Favorecer la producción de información en •torno a determinadas temáticas (género, igualdad de oportunidades, medioambiente, etc.) en relación con la mejora de la calidad de los servicios públicos.

2.4. Objetivos de la Guía de seguimiento y evaluación de planes de actuación de los servicios públicos

La Guía es un documento destinado a facilitar a los/as responsables y gestores/as de un plan de actua-ción una serie de técnicas, instrumentos y herramien-tas aplicados al proceso de seguimiento y evaluación del mismo.

La Guía de seguimiento y evaluación de planes de ac-tuación de los servicios públicos, elaborada por el Ob-servatorio para la Mejora de los Servicios Públicos, es un documento de soporte y de trabajo que:

Por un lado, trata de acercar a las unidades la •sistemática del seguimiento y la evaluación, dando a conocer distintas metodologías y téc- nicas empleadas en el ámbito de la evalua-ción de políticas públicas.Por otro lado, presenta los distintos servicios •de apoyo y asesoramiento del Observatorio puestos a disposición de las unidades para el seguimiento y la evaluación de sus planes de actuación.Por último, da a conocer y facilita instru-•mentos y herramientas tanto metodológicos como tecnológicos que permiten integrar esa sistemática a la actividad cotidiana de las unidades en su camino hacia la Excelencia y, especialmente, a lo largo del proceso de de-finición, planificación, implantación y mejora de sus planes de actuación y de mejora.

Por tanto la guía tiene por objetivos:

Reforzar la función de seguimiento y evalua-•ción como instrumentos fundamentales para mejorar los planes de actuación, el aprendi-zaje de las organizaciones públicas y la trans-parencia ofrecida hacia la ciudadanía.

Introducir enfoques, metodologías y técnicas, •ágiles y flexibles para el seguimiento y la eva-luación de los planes.Presentar métodos que vinculan y facilitan la •medición de los resultados e impactos a ac-tuaciones concretas definidas en los planes. Impulsar el seguimiento y la evaluación de •los planes de actuación.Dar a conocer los servicios y las herramien-•tas de apoyo y de soporte que el Observatorio pone a disposición de las unidades para el seguimiento y evaluación de sus planes de actuación o de mejora.

INTRODUCCIÓN

13

Contenidos del apartado:•Tabla resumen de pasos y tareas a realizar.

Palabras clave: •Evaluar, redefinir, revisar, seguir.

III.GUÍA RÁPIDA DE SEGUIMIENTO

Y EVALUACIÓN DE PLANES DE ACTUACIÓN

A continuación, se presenta un resumen dirigido a facilitar al/la lector/a de esta guía la identificación, por un lado, de las principales etapas y tareas para el seguimiento y evaluación de planes de actuación y, en segundo lugar, de las herramientas que pueden apoyarlas según el modelo de apoyo y asesoramiento diseñado por el Observatorio.

Tanto las tareas a realizar como las metodolo-gías presentadas muestran de manera orientativa las principales posibilidades que pueden realizarse para el seguimiento y evaluación de los planes de actua-ción. Las mismas podrán ser adoptadas y puestas en

marcha en función de las necesidades específicas de seguimiento y evaluación de cada plan de mejora o actuación según el caso concreto de que se trate.

El Observatorio para la Mejora de los Servicios Pú-blicos cuenta con un grupo de expertos/as para dar asesoramiento e información para el seguimiento y la evaluación de los planes de actuación.

Las distintas etapas, tareas y pasos metodológi-cos recogidos a continuación son desarrollados con mayor detalle en los siguientes apartados de la Guía.

GUÍA RÁPIDA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE ACTUACIÓN

14




ETAPA TAREAPASO

METODOLÓGICO

MÓDULOS DE SOPORTE DEL OBSERVATORIO

PARA LA MEJORA DE LOS SERVICIOS PÚBLICOS

Realizar el seguimiento y evaluación del plan

de actuación

Recoger información

Analizar la satisfacción de necesidades y expectativas de los grupos de interés

Cuestionario online

Foro online

Grupo de análisis

Analizar la satisfacción de necesidades y expectativas del personal de la unidad

Cuestionario online

Foro online

Grupo de análisis

Extraer resultados a partir del seguimiento de indicadores clave

Indicadores

Analizar la informaciónDetectar puntos débiles y fuertes del plan de actuación

Elaborar el informe de resultados

Determinar estructura del documento y otros contenidos; Redactar informe

Divulgar los resultados obtenidos

Elaborar notas de prensa y otras noticias para dar a conocer los resultados obtenidos

Elaborar y publicar un informe de resultados para darlo a conocer a los grupos de interés o ciudadanía, en general

Documentación

Revisar y redefinir: retroalimentación del

plan de actuación

Detectar las necesidades y expectativas de los grupos de interés

Recogida de información a través de la aplicación de una encuesta

Cuestionario online

Recogida de información a través de la celebración de un foro de participación virtual

Foro online

Recogida de información a través de la constitución de un grupo de análisis

Grupo de análisis

Recogida de información sobre tendencias globales en relación con la percepción y las valoraciones de la ciudadanía

Barómetro de satisfacción de la ciudadanía

Recogida de información sobre tendencias globales en relación con las expectativas de la ciudadanía

Banco de Expectativas ciudadanas

Diagnosticar la situación de la unidad

Recogida de información del personal a través de la aplicación de una encuesta

Cuestionario online

Recogida de información del personal a través de la celebración de un foro de participación virtual

Foro online

15



ETAPA TAREAPASO

METODOLÓGICO

MÓDULOS DE SOPORTE DEL OBSERVATORIO

PARA LA MEJORA DE LOS SERVICIOS PÚBLICOS

Revisar y redefinir: retroalimentación del

plan de actuación

Diagnosticar la situación de la unidad

Recogida de información de los/as profesionales a través de la constitución de un grupo de análisis

Grupo de análisis

Diagnóstico de la unidad

Recogida de información sobre tendencias globales en relación con otras organizaciones

Banco de Buenas Prácticas

Recogida de información de otros planes de actuación realizados por otras organizaciones

Documentación

Detectar y priorizar áreas de actuación

Detectar puntos débiles y fuertes de la unidad

áGoRa

Consultar la opinión de expertos/as

Grupo de análisis

Detectar y priorizar áreas de actuación y de mejora

áGoRa

Revisar y redefinir el plan de actuación

Toma de decisión respecto a los objetivos del plan de actuación

Indicadores

Identificar actuaciones y elaborar una “ficha de actuación” para cada una de ellas

Banco de Buenas Prácticas

Revisar y redefinir el modelo de evaluación

Definir un modelo de evaluación basado en la satisfacción de expectativas y percepciones

Cuestionario online

Definir un modelo de evaluación basado en el seguimiento de un sistema de indicadores

Indicadores

Monitorizar el plan de actuación

Hacer operativo el plan: empleo de recursos y ejecución de actuaciones

Indicadores

Divulgar actuaciones del plan de actuación

Elaborar periódicamente notas de prensa y otras noticias para dar a conocer las actuaciones impulsadas

Elaborar y publicar un informe global o informes parciales de resultados

Documentación

Cuadro 1.Resumen de etapas, tareas y pasosmetodológicos para el seguimiento y la evaluación de planes de actuación.

16

Contenidos del apartado:•1. El seguimiento y la evaluación de planes de actuación.2. Conceptos teóricos.3. Características del seguimiento y la evaluación.4. Porqué realizar el seguimiento y la evaluación de planes de actuación.

Palabras clave: •Aprendizaje, área de mejora, ciclo de políticas públicas, evaluación, planes de actuación, redefinición, revisión, seguimiento.

IV.EL SEGUIMIENTO Y LA EVALUACIÓN

4.1. El seguimiento y la evaluación de planes de actuación

La Guía de seguimiento y evaluación de planes de actuación de los servicios públicos se centra principal-mente en dos de los elementos que configuran el es-quema REDER: la evaluación y la revisión (figura 4).

En relación con el desarrollo de planes de actua-ción, pueden distinguirse dos momentos diferencia-dos y continuos:

El seguimiento y la evaluación• : Se realiza du-rante el despliegue de la política y la estrate-gia de la unidad y cuando se han generado los efectos y productos del plan de actuación en los/as clientes, las personas y la sociedad. La revisión y la redefinición• : Se lleva a cabo una vez se han podido extraer conclusiones y resultados a través de la evaluación previa,

con la finalidad de planificar el despliegue de la política y la estrategia de la unidad, a tra-vés de las personas empleadas y las alianzas y recursos.

Los resultados y conclusiones obtenidos mediante

el seguimiento y la evaluación han de retroalimentar de información la revisión del plan, más aún cuando se trate de redefinir éste o reajustarlo a la política y estrategia de la unidad, así como a las alianzas y recursos y a la gestión de las personas que hagan posible su despliegue.

En el siguiente gráfico se muestra precisamente el desarrollo de los planes de actuación como fruto de un proceso dinámico que pretende dar respuesta a las expectativas y lograr la satisfacción de la ciudada-nía. Asimismo, en el apartado 6. Cómo el Observatorio da apoyo y soporte en el seguimiento y evaluación de un plan de actuación, se desarrolla este proceso de ma-nera detallada paso a paso (figura 5).

EL SEGUIMIENTO Y LA EVALUACIÓN

17



Figura 5. La evaluación y la revisión a lo largo del desarrollo de un plan de actuación.

Figura 4. Desarrollo de los elementos del esquema REDER: Evaluación y Revisión.

Resultados

Esquema REDER

Enfoques

Evaluacióny revisión

Despliegue

Revisión yredefinición

Seguimientoy evaluación

Satisfacciónde la

ciudadaníay/o

grupos deinterés

Expectativasde la

ciudadaníay/o

grupos deinterés

Diagnóstico

Desarrollo de un Plan de Actuación

Seguir

Evaluar

Redefinir

Revisar

Elaboración Publicación Implantación Seguimiento

18




La Guía de seguimiento y evaluación de planes de actuación de los servicios públicos está especialmente dirigida a apoyar a una unidad en dichos momentos, es decir, tanto en la fase de seguimiento y evaluación de los resultados, una vez se ha realizado la implanta-ción de las actuaciones previstas en el plan de actua-ción, como durante la fase de revisión y redefinición de la estrategia y los objetivos que han de articular el plan. Igualmente, el Observatorio puede, por un lado, acompañar y dar asesoramiento y, por otro lado, ha-bilitar una serie de herramientas tecnológicas de so-porte, a fin de facilitar a una unidad las tareas de revisión y evaluación.

4.2. Conceptos claves

A continuación, se definen los conceptos básicos de los que parte esta guía:

Seguimiento•Es una actividad continuada en el tiempo cuyo principal objetivo es proporcionar a los/as responsables y agentes gestores/as de una política pública o plan de actuación, en el contexto de la intervención en curso, in-dicaciones tempranas del progreso, o de la falta de progreso, en el logro de los objetivos marcados y los efectos previstos.

El seguimiento conlleva un proceso sistemáti-co y continuo de supervisión, profundización y revisión de las actuaciones para comprobar que estén en línea con las metas y objetivos planteados. Se basa en la recolección y aná-lisis regulares de información para contribuir a la adopción oportuna de decisiones, garan-tizar la responsabilización y sentar las bases de la evaluación y el aprendizaje. El segui-miento se acompaña de sistemas de registro de información y se orienta a la presentación de informes periódicos.

El seguimiento, también, implica la vigilancia de los puntos críticos de una política o plan. Entre sus finalidades está corregir toda des-viación respecto a los objetivos marcados y los resultados esperados. Sirve para controlar que las actuaciones y los medios dispuestos para implementarlas (humanos, económicos, etc.) están en la línea de una política o plan.Normalmente, el seguimiento es realizado por los/as responsables directos/as y agen-

tes gestores/as de la política o plan, aunque pueden verse asesorados y acompañados por profesionales externos/as.

Evaluación•Es un ejercicio sujeto a un plazo determinado dirigido a valorar sistemática y objetivamen-te la relevancia, desempeño y éxito de planes de actuación en curso y terminados. Tam-bién, puede tratar efectos u otras cuestiones de desarrollo. Se realiza selectivamente en determinadas fases del ciclo de vida de una política o plan para responder preguntas específicas que guíen a los/as responsables y gestores/as en la toma de decisiones en relación con: la validez de las metodologías e instrumentos utilizados, la pertinencia global o parcial, la relevancia, la eficiencia y la eficacia, el im-pacto y la repercusión, etc. No sólo se cen-tra en la implementación o en los productos inmediatos de la política (seguimiento), sino que vincula éstos con los efectos. En general, trata de identificar qué ha funcionado y qué no, y por qué.

La evaluación no es un acontecimiento ais-lado, sino que se lleva a cabo en distintos momentos como respuesta a las necesidades cambiantes de conocimiento y aprendizaje. Debe proveer información fidedigna y útil y facilitar la integración de las lecciones aprendidas en el proceso de toma de decisio-nes. Su finalidad es permitir el aprendizaje, a partir de la experiencia generada en el pro-ceso evaluador, para (si es necesario) reorientar o redefinir las actuaciones de una po-lítica o plan.

La evaluación se acompaña del empleo de métodos analíticos reconocidos a fin de ga-rantizar su fiabilidad3. Su análisis parte de una recogida de información previa de los da-tos generados a través del seguimiento de las actuaciones y de otras fuentes (por ejemplo, otras investigaciones, estudios de opinión, entrevistas a agentes implicados/as, grupos de discusión, etc.).

Con frecuencia, la evaluación es realizada contando con la asistencia de profesionales externos/as.

3. La evaluación tiene el propósito de aplicar métodos y técnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas, así como a la responsabilidad de las agencias gubernamentales (Conseil Scientifique de l’Evaluation, 1997)

19



4.3. Características del seguimiento y la evaluación

A grandes rasgos las características del segui-miento y la evaluación se resumen en el cuadro 2.

Además, pueden identificarse ventajas más espe-cíficas derivadas del seguimiento y la evaluación a lo

largo de las distintas fases del “proceso vital” de un plan de actuación. Dicho proceso se caracteriza por la sucesión de diferentes estadios y se conoce como el “ciclo de políticas públicas”. Este ciclo abarca desde la elaboración inicial hasta su terminación o reciclaje. Dentro de la literatura existente en Ciencias Sociales y Políticas, pueden distinguirse distintas etapas den-tro de dicho ciclo4 que a grandes rasgos pueden ser resumidas en las siguientes:

SEGUIMIENTO EVALUACIÓN

Continuada en el tiempoPeriódica en las etapas clave (fase de formulación inicial, implantación, finalización, etc.)

Observación de la evolución, supervisión y documentación de los progresos registrados

Análisis a fondo, comparación de los resultados esperados con los alcanzados

Insumos, actuaciones, resultados y productos.Procesos de implementación. Pertinencia y continuidad. Resultados probables a nivel de efectos directos

Productos respecto a insumos.Resultados respecto al costo. Procesos para alcanzar resultados. Pertinencia General. Eficacia y eficiencia

Responder qué actuaciones se han realizado y qué resultados se han obtenido

Responder por qué y cómo se han obtenido los resultados

Conocimiento de puntos críticos y opciones para la adopción de medidas correctoras

Conocimiento de los resultados e impactos. Áreas de mejora respecto de las estrategias y las actuaciones

Perspectiva Temporal

Tipo de Análisis

Elementos Analizados

Necesidad de Análisis

Tipo de Información que Suministra

Cuadro 2. Características del seguimiento y la evaluación de planes de actuación.

4. Lasswell (1956 y 1971) en su esquema de “ciclo vital”, ha sido el punto de referencia de esta idea. Hogwood y Gunn (1984), tomando como punto de partida el esquema de Lasswell, distinguen nueve fases. Pallares, F. (1988) identifica tres grandes momentos del proceso: la formulación de las políticas, la implementación o su proceso de aplicación práctica y la evaluación de su rendimiento.

Implementaciónde la Política

Efectosde la Política

Formación de la Agenda (Definición

problema/necesidad)

Retroalimentaciónde la información

Formulaciónde la Política

Evaluaciónde la Política

Ciclo de PolíticasPúblicas

Figura 6. Ciclo vital de las políticas públicas.

20




Efectuar el seguimiento y la evaluación de lo reali-zado, por tanto, produce las siguientes ventajas:

Durante la fase de definición de problemas •o de diagnóstico de necesidades, facilita la fiabilidad y validez de las conclusiones y, ade-más, permite extraer indicaciones valiosas en relación con las metodologías y los resultados obtenidos en la implementación de políticas o planes anteriores.En el momento de formulación y diseño, •posibilita validar el modelo de intervención diseñado.Durante la ejecución, proporciona instru-•mentos para la observación continua de los progresos y el ajuste de las actuaciones para alcanzar mejores resultados.Cuando los resultados y efectos directos e in-•directos son observables, los datos de indica-dores obtenidos durante la fase anterior sir-ven de datos de referencia para realizar una comparación entre lo esperado y lo observado. Esta nueva información permite a los/as res-ponsables y agentes gestores/as reajustar metas y el propio sistema de indicadores.Al finalizar una política o plan, la evaluación •permite realizar el balance de resultados e impactos finales. El resultado es la identifica-ción de los éxitos y los fracasos producidos.Los resultados obtenidos en la fase anterior •constituyen un conocimiento valioso que po-sibilita la retroalimentación de información. El conocimiento adquirido ha de ser aprove-chado para definir/redefinir objetivos, estra-

tegias, etc., para el diseño del próximo ciclo de una política o plan.

4.4. Porqué realizar el seguimiento y la evaluación de planes de actuación

El seguimiento y la evaluación son elementos cla-ves para sistematizar la mejora continua de la admi-nistración y el aprendizaje a partir del estudio de los resultados de los planes de mejora y actuación. Sin el seguimiento y la evaluación sería imposible determi-nar si las actuaciones desarrolladas están en la línea adecuada, y determinar los éxitos o progresos de un plan de actuación determinado.

El seguimiento y la evaluación permiten adecuar y reajustar un plan a las expectativas y necesidades de la ciudadanía en todo momento. En este sentido, ha de señalarse la importancia del conocimiento genera-do a partir de las funciones de seguimiento y evalua-ción, ya que éste hace posible una retroalimentación continua de información (feedback). En el caso de que las actuaciones no estén generando los resulta-dos esperados para satisfacer las expectativas, los/as responsables y gestores/as del plan dispondrán de una información valiosa para identificar posibles des-viaciones y áreas de mejora. De esta manera, podrá realizarse una gestión continuada de las actuaciones y acciones para adecuarse y reajustarse a las expec-tativas de los/as beneficiarios/as o clientes del plan, la ciudadanía, las personas dentro de la unidad, y otros agentes implicados.

Planificar lasactuaciones para satisfacer

las expectativas

Evaluar si losresultados satisfacen

las expectativas

Ajustar losresultados a la satisfacción

de las expectativas

Efectuar lasactuaciones que satisfagan

las expectativas

Seguimientocontinuo de lasexpectativas ynecesidadesciudadanas

Figura 7. Gestión continua de las expectativas y las necesidades durante el desarrollo de un plan de actuación.

21



La adecuación y el reajuste de un plan de actua-ción se realiza a través de un proceso dinámico ba-sado en la retroalimentación de información sobre expectativas, tal como se muestra en la figura 7.

Por ello, el seguimiento y la evaluación de los pla-nes de actuación proporcionan los conocimientos ne-cesarios para alcanzar los aspectos que se detallan a continuación.

¿QUÉ APORTAN EL SEGUIMIENTO Y LA EVALUACIÓN A MI PLAN DE ACTUACIÓNY AL PROCESO DE MEJORA CONTINUA DE LOS SERVICIOS PÚBLICOS?

En el ámbito global de la gestión pública

Contribuyen a la legitimación de la Administración y la generación de confianza hacia la ciudadanía y hacia el resto de agentes sociales que participan en el proceso.

Afianzan la aplicación sistemática de disciplinas y metodologías científico-sociales que aporten calidad en los procedimientos de intervención social o de aplicación de políticas públicas.

Mejoran el aprendizaje respecto a lo realizado. Facilitan el aprendizaje y el aumento en el volumen de conocimientos sobre buenas experiencias o prácticas.

Facilitan la identificación de buenas prácticas y áreas de mejora.

En el ámbito concreto de la aplicación del plan de actuación

Posibilitan una gestión continuada del plan, basada en la adecuación y ajuste respecto a las expectativas y necesidades de beneficiarios/as, clientes, ciudadanía y otros agentes implicados.

Aseguran la toma de decisiones con base en evidencias. Permiten la racionalización del proceso de toma de decisiones aportando elementos de juicio basados en evidencias y hechos.

Permiten una gestión efectiva del plan de actuación. Mejoran la implantación del plan porque el conocimiento generado permite adecuar los recursos disponibles a los resultados.

Facilitan la modificación o rectificación de estrategias ineficaces, así como la identificación de las más eficaces para su ampliación, expansión o repetición.

Favorecen la responsabilización de los/as agentes implicados/as. Promocionan la formación e implicación de los/as responsables y agentes gestores/as del plan.

En el ámbito de la transparencia y el control ciudadano

Favorecen la transparencia y la rendición de cuentas ante la ciudadanía y los/as agentes implicados/as. El control sobre distintos factores (administrativo, financiero y legal, etc.) permite demostrar que un plan ha sido acertado.

Facilitan la identificación de resultados y la elaboración de informes. Promueven la demostración de que se va por el buen camino y la presentación de resultados a los/as usuarios/as de los servicios públicos.

Cuadro 3. ¿Qué aportan el seguimiento y la evaluación a mi plan de actuacióny al proceso de mejora continua de los servicios públicos?

22 EL MODELO DE SEGUIMIENTO Y EVALUACIÓN DEL OBSERVATORIO

El modelo de seguimiento y evaluación del Obser-vatorio pretende ser un modelo que impulse la mejora de la calidad de los servicios públicos y la moderniza-ción de la Administración andaluza mediante la im-plementación de sistemas efectivos de medición de los logros y los resultados alcanzados, así como de los efectos o impactos producidos en la ciudadanía.

Este modelo de seguimiento y evaluación se ca-racteriza por cuatro orientaciones básicas:

Ser un modelo adaptado a las particularida-•des de las administraciones públicas. Ser un modelo dirigido a mejorar la calidad •y a aumentar el valor añadido dentro de las organizaciones públicas. Ser un modelo que apuesta por el pluralismo •metodológico y por el trabajo de un equipo multidisciplinar. Ser un modelo que promueve la participación •de profesionales y de la ciudadanía para tener en cuenta sus necesidades y expectativas.

Estas orientaciones se exponen a continuación.

Un modelo adaptado a las administraciones públicas

En los últimos años, el proceso de mejora y de

modernización de las administraciones públicas viene

desarrollándose mediante la absorción de las lógicas

de las organizaciones privadas. La integración de los

principios empresariales ha conllevado la adopción

de nuevas metodologías de evaluación de la gestión

y de seguimiento de los resultados de las administra-

ciones públicas. Como bien es cierto, administración

y empresa guardan similitudes: comparten objetivos,

gestionan recursos, dirigen y son dirigidas por per-

sonas, trabajan por procesos, etc. Sin embargo, las

organizaciones públicas guardan grandes diferencias

respecto a las privadas.

Contenidos del apartado:•Un modelo adaptado a las administraciones públicas. »Un modelo dirigido a mejorar la calidad y a generar valor añadido dentro de las »organizaciones públicas.Un modelo que apuesta por el pluralismo metodológico y por el trabajo de un equipo »multidisciplinar.Un modelo que promueve la participación de los/as profesionales y de la ciudadanía. »

Palabras clave: •Calidad, expectativas, necesidades de la ciudadanía, participación, valor añadido.

V.EL MODELO DE SEGUIMIENTO

Y EVALUACIÓN DEL OBSERVATORIO

23


La primera gran diferencia viene dada por el hecho de que, mientras las organizaciones privadas eligen y pretenden siempre operar y competir en “los mejores” sectores de actividad, las administraciones públicas trabajan en ámbitos y sectores que les vienen prede-terminados normativamente. Su lógica de actuación, en este caso, no es competir sino trabajar de forma coordinada y en estrecha interdependencia.

A la hora de realizar el seguimiento y evaluar la gestión y los resultados de cualquier plan de actua-ción, ha de tenerse en cuenta que la administración desempeña distintos papeles (roles) en su interacción

con la ciudadanía y la sociedad, y que su misión prin-cipal es dar respuestas eficaces a las necesidades y expectativas presentes detectadas como latentes que pudieran emerger en un futuro de la ciudadanía y de la sociedad en general.

La administración es tanto representante (rela-ción administración-ciudadano/a), como proveedora de servicios y prestaciones (relación administración-usuario/a), como profesional o especialista (relación administración-clientes), y administradora de sí mis-ma (relación administración-administración)5.

5. Tipos de relación en distintas formas de interacción administración-ciudadanía. Metcalfe, L. (1998): Accountability and Effectiveness. Designing the Rules of the Accounting Game. Ponencia para la Conferencia del Instituto Europeo de Estudios Avanzados en Management “Accounting for the New Public Management”. Venecia.

Figura 8. Roles de la administración y tipos de relación.

Por lo que, el seguimiento y la evaluación no pue-den orientarse simplemente al control de los princi-pios de eficacia y eficiencia empresarial, sino que ha de contemplar dichos papeles, los distintos aspectos de esa interacción y los valores, los objetivos o las finalidades que persigue. El seguimiento y la evalua-ción han de tener en cuenta las especificidades de cada plan de actuación.

Ésta es una de las premisas del Observatorio en su actividad de apoyo y soporte para el seguimiento y la evaluación de los planes de actuación. Considerar todos estos elementos determina el enfoque y los ob-jetivos del seguimiento y la evaluación.

Un modelo dirigido a mejorar la calidad y a generar valor añadido dentro de las organizaciones públicas

En las organizaciones privadas sus servicios y pro-ductos se miden principalmente en función de pará-metros corporativos, de eficiencia o competitividad. En el caso de las administraciones públicas, éstos no sólo han de ser calibrados según parámetros norma-tivos o de relación coste-beneficio, sino que han de ser tenidos en cuenta sus impactos (sociales, solida-rios, etc.) sobre el conjunto de la sociedad y, espe-cialmente, sobre la mejora de la calidad de vida de las personas.

EL MODELO DE SEGUIMIENTO Y EVALUACIÓN DEL OBSERVATORIO

ROLES DE LA ADMINISTRACIÓN Y TIPOS DE RELACIÓN

Administradora

RelaciónADMINISTRACIÓN-ADMINISTRACIÓN

Coordinación ojerarquía

RelaciónADMINISTRACIÓN-

CLIENTE

Sujeto Experto


CIUDADANO/A

InfluenciaLegitimación


USUARIO/A

Intercambio

Proveedora Profesional Representante

24



EL MODELO DE SEGUIMIENTO Y EVALUACIÓN DEL OBSERVATORIO

La legitimidad de las organizaciones públicas de-pende de que la ciudadanía siga entendiendo que esas administraciones son “sus” administraciones. Por ello, para que ésta defina un servicio como “de calidad”, éste no puede ser únicamente evaluado se-gún parámetros de eficiencia o competitividad.

En consecuencia, el Observatorio promueve un proceso de seguimiento y evaluación dirigido a per-feccionar la calidad tanto de los planes de actuación como de los servicios públicos en general, significan-do “calidad” un concepto amplio y complejo que, asi-mismo, ha de conllevar un aumento de la legitimidad de las administraciones públicas.

Para mejorar la calidad de los servicios públicos es preciso seguir y evaluar: por un lado, los principa-les procesos que desarrolla la organización (“lo que hace”) y, de manera especial, aquellos que generan un valor añadido a la producción y generación de pro-ductos y servicios; y, por otro lado, las necesidades de la ciudadanía (“lo que se valora”) y sus expectati-vas (“lo se que espera”). Esto, a su vez, exige la apli-cación de un enfoque que adopte diferentes perspec-tivas y metodologías de análisis.

Un modelo que apuesta por el pluralismo metodológico y por el trabajo de un equipo multidisciplinar

La variedad y pluralidad de roles que pueden des-empeñar y desarrollar las administraciones públicas exige que sus resultados y productos sean seguidos y evaluados desde una perspectiva plural.

Una perspectiva plural implica la adopción de dis-tintas perspectivas: legal, económica-financiera, polí-tica, social, medioambiental, etc; y el trabajo de un equipo multidisciplinar capaz de integrar las mismas. El Observatorio promueve la aplicación de distintas metodologías e instrumentos de evaluación capaces de recoger toda la riqueza de matices, sinergias, re-sultados e impactos que generan con su actuación las organizaciones públicas.

Entre los elementos de valor añadido que puede aportar el Observatorio a los procesos de seguimien-to y evaluación de planes actuación, se destaca:

Por un lado, la experiencia obtenida por el •Observatorio en el ámbito de estudio de la calidad y la modernización de los Servicios Públicos andaluces y en la aplicación de nue-vas tecnologías aplicadas al mismo y;Por otro lado, la formación de un equipo mul-•tidisciplinar de profesionales comprometido con los proyectos que realizan.

De esta manera, a través del empleo de metodo-logías y de herramientas tecnológicas innovadoras y del trabajo de un equipo multidisciplinar, el objetivo del Observatorio es introducir la mejora continua de los Servicios Públicos andaluces y de los órganos, or-ganismos y unidades de la Junta de Andalucía pres-tando apoyo, asesoramiento y soporte a lo largo del proceso de diseño, seguimiento y evaluación de resul-tados de planes de actuación.

Un modelo que promueve la participación de los/as profesionales y de la ciudadanía

La participación de la ciudadanía y de los/as pro-fesionales de la administración es fundamental para el éxito de un plan de actuación y favorece el inter-cambio de opiniones respecto a los Servicios Públi-cos andaluces. No se trata sólo de rendir cuentas por la actuación desarrollada sino de implicar y hacerles partícipes, entendiendo que su intervención redunda en los buenos logros del plan. El conocimiento de sus necesidades y expectativas, es decir, de cómo valoran y aquello que esperan en relación con los Servicios Públicos andaluces y con la Administración andaluza, contribuye a:

Atender a la demanda ciudadana y de los/as •profesionales de la Administración andaluza y, con ello, aumentar el grado de satisfacción respecto a las actuaciones realizadas.Implicar en el proceso de implantación de •planes de actuación a la ciudadanía, los/as profesionales y el personal de la adminis-tración, haciendo los resultados alcanzados “suyos”.Mejorar y legitimar la toma de decisiones en •tanto que se dispone y se valoran las opinio-nes ciudadanas.Detectar nuevas áreas de mejora y a favorecer •la innovación de los servicios.

25CÓMO EL OBSERVATORIO DA APOYO Y SOPORTE EN EL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN

Contenidos del apartado:•1. Seguir y evaluar.

1.1. Recoger información relevante.1.2. Analizar la información recogida.1.3. Elaborar el informe de resultados.1.4. Divulgar los resultados obtenidos.

2. Revisar y redefinir: retroalimentación del plan de actuación.2.1. Detectar las necesidades de la unidad.2.2. Redefinir el plan de actuación.2.3. Monitorizar el plan de actuación.

Palabras clave: •Metodología, modelo, análisis DAFO, Modelo EFQM, Modelo SERVQUAL, QFD, retroalimentación.

VI.CÓMO EL OBSERVATORIO DA APOYO

Y SOPORTE EN EL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN

El Observatorio permite a todos aquellos órganos, organismos y/o organizaciones de la Junta de Anda-lucía interesados, hacer uso de las herramientas ha-bilitadas a través de su portal y del portal Mejora los Servicios Públicos y, además, recibir un apoyo y un asesoramiento técnico especializado.

Cualquier organización dentro del ámbito de la Comunidad Autónoma de Andalucía interesada en emplear dichos recursos en el proceso de seguimien-to y evaluación de un plan de actuación puede ha-cerlo estableciendo un acuerdo de colaboración y/o asesoramiento previo con el Observatorio.

Para ello, la organización interesada habrá de determinar varias cuestiones con el Observatorio relativas al alcance de la colaboración establecida en-tre ambos. Estas cuestiones corresponden a varios

interrogantes que se presentan en las distintas etapas de seguimiento y evaluación del plan, y en función de las posibilidades que permite dicha colaboración.

El Observatorio trata de prestar apoyo y soporte en el desarrollo de dos momentos fundamentales y, a su vez, continuos respecto al seguimiento y la evalua-ción de planes de actuación:

El seguimiento y la evaluación del diseño, la •gestión y los impactos del plan. La revisión y la redefinición del plan en base •a resultados y evidencias.

Cada uno de estos momentos requiere la realiza-ción de diferentes pasos y tareas como se muestra en la figura siguiente.

26



CÓMO EL OBSERVATORIO DA APOYO Y SOPORTE EN EL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN

A continuación se detallan estos pasos y tareas.

6.1. Seguir y evaluar

Para realizar el seguimiento y la evaluación del diseño, la gestión y los impactos de un plan de actua-ción, el Observatorio realiza los siguientes pasos:

6.1.1. Recoger información relevante

El proceso empieza con la identificación del objeto de seguimiento y evaluación, así como de las tareas a realizar tanto por parte de las personas responsables del plan como del Observatorio. Con ello, se tratará de establecer las bases y términos para garantizar el seguimiento continuo de las actuaciones que se va-yan a desarrollar.

Para abordar el seguimiento y la evaluación del plan, previamente, se requiere de una recogida siste-mática de información que permita clarificar la situa-ción de partida y determinar el tipo de seguimiento y evaluación que va a realizarse, así como las metodo-logías y técnicas más adecuadas a aplicar.

Por ello, se recabara todo conocimiento relevante en relación con:

El propio plan de actuación: líneas estratégi-•cas, objetivos a alcanzar, líneas de actuación, etcétera. La fase en la que se encuentra el plan: el •punto en que se encuentra cada una de las actuaciones, los recursos empleados, resul-tados generados, etc. Las valoraciones y opiniones de los/as res-•ponsables y personas implicadas en el plan. Las valoraciones y expectativas de la ciuda-•danía o del público objetivo del plan. Toda información igualmente relevante.•

Para facilitar a las unidades la recogida de infor-mación el Observatorio puede realizar distintas ac-tuaciones (cuadro 4).

6.1.1.1. Apoyo y asesoramiento en la recogida de información

El Observatorio realiza actuaciones de apoyo y asesoramiento para el diseño de sistemas de indi-cadores y elaboración de cuestionarios orientados a recoger opiniones y percepciones que contribuyan a la mejora del plan de actuación, adaptándose a las necesidades específicas de cada unidad.

Figura 9. Momentos de apoyo y soporte del Observatorio para el seguimiento y evaluación de políticas y planes de actuación.

Revisión yredefinición

Monitorización del planRecogida de información

Análisis de la información

Elaboración delinforme de resultados

Divulgación de resultados

Redefinición del plande actuación

Detección de las necesidades de la unidad

Seguimientoy evaluación

27



6.1.1.2. Creación de herramientas específicas y adaptadas para la recogida de información

Para la facilitar esta tarea inicial de recopilación de información, el Observatorio dispone de distintas

herramientas entre las que se destacan encuestas, fo-ros de debate y grupos de análisis online (orientados a la recogida de conocimiento sobre las valoraciones y expectativas de la ciudadanía, grupos de interés y profesionales). Asimismo, también dispone de cua-dros de mandos integrados que soportan y facilitan el seguimiento de indicadores clave.

¿Cómo puedeel Observatorio facilitarla recogida de Información?

Prestandoapoyo y

asesoramiento

Habilitandoherramientasespecíficas

En el diseño y preparación de encuestas, forosy grupos de análisis que permitan recoger informaciónsobre la valoraciones y expectativas en torno al plan.

En la definición de sistemas de indicadores y cuadrosde mandos que permitan seguir y evaluar la evolucióndel plan de actuación.

Creando cuestionarios on-line, foros de debate y grupos deanálisis adaptados a las necesidades de seguimiento y evaluacióndel plan de actuación, a través de los que puedan participarprofesionales y personas implicadas.

Gestionando foros y grupos de análisis (dinamizandola participación, proponiendo temáticas, etc.).

Creando y gestionando un cuadro de mandos adaptado a lasnecesidades del plan y que soporte su seguimiento y evaluación.

?

Cuadro 4. Apoyo y soporte del Observatorio en la recogida de la información.

RECOGIDA DE INFORMACIÓN A TRAVÉS DE ENCUESTAS Y FOROS DE DEBATE ONLINE

A través de la publicación de encuestas, foros o gru-pos de análisis en el portal del Observatorio, puede re-cabarse información sobre las expectativas que suscita el plan de actuación en colectivos específicos (personal de la organización, principales beneficiarios/as, etc) o ciudadanía en general, así como evaluarse el nivel de satisfacción con el mismo.

Por ejemplo, en el caso de la aplicación de encues-tas, las personas a las que se desee sondear pueden ser invitadas a responder un cuestionario online a tra-vés de un correo electrónico.

Cada vez que una persona contesta un cuestiona-rio la información queda registrada automáticamente, pudiendo ser consultados así los resultados obtenidos hasta el momento respecto al total de las personas encuestadas.

Figura 10: Ejemplo de invitación a un cuestionario online del Observatorio.

Hola,

Nos ponemos en contacto con usted desde el Observatoriopara la Mejora de los Servicios Públicos para invitarle aparticipar en el estudio de opinión “XXX”. Por ello, en el

portal Mejora los Servicios Públicos tiene a su disposiciónun cuestionario on-line.

Su participación es fundamental ya que gracias a sucolaboración podremos evanzar en el conocimiento, la

mejora y la innovación de los Servicios Públicos de la Juntade Andalucía. Para ello, tan solo debe acceder al siguiente

link:

http://www.juntadeandalucia.es/justiciayadministracionpublica/omsp/msp/PortalEncuesta.do?accion=listaCuestionarios

Agradecemos su implicación y esperamos su participación.¡Participe!

Reciba un cordial saludo,

Observatorio para la Mejora de los Servicios PúblicosConsejería de Justicia y Administración PúblicaJunta de Andalucía

28




RECOGIDA DE INFORMACIÓN A TRAVÉS DE ENCUESTAS Y FOROS DE DEBATE ONLINE

Figura 11. Vista del portal Mejora los Servicios Públicos.

GESTIÓN DE LA INFORMACIÓN A TRAVÉS DE CUADROS DE MANDOS

Toda la información recabada a partir de la realiza-ción de encuestas, foros y grupos de análisis, así como a través de otras técnicas de recogida de información puede ser recopilada, organizada y soportada a través de un cuadro de mandos a través del Observatorio.

El cuadro de mandos facilita el seguimiento y la eva-luación de indicadores claves previamente definidos en relación con el cumplimiento de los objetivos estraté-gicos del plan. De tal manera, que un rápido vistazo al cuadro de mandos permite identificar aquellos objeti-vos que se están satisfaciendo y los que no.

Esto, a su vez, facilita la detección de áreas de me-jora del plan y aporta un conocimiento relevante para apoyar la toma de decisiones.

Figura 12. Vista de un cuadro de mandos publicado en el Observatorio: cumplimien-to de un objetivo e indicadores asociados.

29


¿Cómo puedeel Observatorio facilitarel análisis de Información?

Prestandoapoyo y

asesoramiento

En el empleo de las metodologíasy técnicas de análisismás adecuadas al plan de actuación.

En la aplicación de distintosenfoques metodológicos aportados por el equipo multidisciplinar del Observatorio.

Analizando la información recopiladadirecta y conjuntamente o no con la unidad,o simplemente prestando apoyoa ésta durante el análisis.

?


Dichas herramientas, junto a otros servicios del Observatorio, se exponen más detalladamente en el apartado 7. Mecanismos y herramientas del Observato-rio para el seguimiento y la evaluación.

6.1.2. Analizar la información recogida

Toda la información recabada ha de ser analizada con objeto de determinar los puntos fuertes y débiles

del plan. Este análisis, así como la/s metodología/s empleada/s para realizar el mismo, vendrán deter-minadas por la fase de implantación en la que se en-cuentre el plan.

Para facilitar a las unidades la tarea de analizar toda la información recabada en relación con los pla-nes de actuación, el Observatorio puede realizar dis-tintas actuaciones (cuadro 5).

Cuadro 5. Apoyo y soporte del Observatorio en el análisis de la información.

6.1.2.1. Apoyo y asesoramiento en el análisis de la información recogida

Ante el amplio abanico de metodologías y técnicas para el análisis de la información, ha de señalarse que, el Observatorio promueve la aplicación de modelos de análisis que impulsen la calidad y la modernización de los Servicios Públicos andaluces, y en sintonía con va-lores que sitúen a la ciudadanía como elemento central y clave de la Administración.

Entre dichos modelos de análisis se destacan

modelos específicos dentro del ámbito de la mejora

de la calidad de las organizaciones, tales como son

el Modelo EFQM de Excelencia (adaptado a la Admi-

nistración General a la Junta de Andalucía y sus Or-

ganismos Autónomos), el Modelo SERVQUAL o el QFD

(Despliegue de la Función de Calidad), y que han sido

ya empleados por el Observatorio en la elaboración de

diferentes estudios.

30



APLICACIÓN DE MODELOS DE ANÁLISIS QUE CONTRIBUYAN A AVANZAR EN LA CALIDAD Y MODERNIZACIÓN DE LOS SERVICIOS PÚBLICOS ANDALUCES

El Observatorio aplica modelos de análisis empleados en el ámbito del seguimiento y la evaluación de políti-cas públicas y de referencia en materia de calidad y modernización de los servicios públicos:

Modelo EFQM adaptado a la Junta de Andalucía: Estudio de las acciones de mejora impulsadas por los órganos, organismos y unidades de la Junta de Andalucía según el modelo de autoevaluación EFQM.

Análisis DAFO: Estudio de las expectativas de la ciudadanía respecto a los Servicios Públicos y la Administración andaluza.

Figura 13. Vista del Informe de resultados de las acciones de mejora impulsadas en la Junta de Andalucía del Observatorio.


Figura 14. Vista del Análisis de fuentes de información del Banco de Expectativas del Observatorio.

31



APLICACIÓN DE MODELOS DE ANÁLISIS QUE CONTRIBUYAN A AVANZAR EN LA CALIDAD Y MODERNIZACIÓN DE LOS SERVICIOS PÚBLICOS ANDALUCES

Modelo SERVQUAL: Estudio de los compromisos contenidos en las Cartas de Servicios de la Junta de Andalucía.

Modelo QFD: Estudio anual de la mejora de los Servicios Públicos andaluces y de la valoración de la ciudadanía andaluza.

Figura 15. Vista del Informe global de resultados de los compromisos de las Cartas de Servicios del Observatorio.

Figura 16. Vista del Informe global sobre la mejora de los Servicios

Públicos andaluces del Observatorio.

32




Según las necesidades de seguimiento y evalua-ción se adoptarán las metodologías y técnicas de análisis más adecuadas, entre las que se destacan las recogidas en el Anexo I. Tipos de evaluación y en el Anexo II. Técnicas de análisis empleadas en el segui-miento y la evaluación.

6.1.3. Elaborar el informe de resultados

La elaboración de un informe que recoja todos los resultados alcanzados tiene un doble fin: en primer lugar, organizar y plasmar en un documento toda la información al respecto y, en segundo lugar, facilitar la elaboración de conclusiones globales posterior.

Para facilitar a las unidades la tarea de elaborar informes de resultados en relación con los planes de

actuación, el Observatorio puede realizar distintas actuaciones (cuadro 6).

6.1.3.1. Apoyo y asesoramiento en la elaboración de informes de resultados

El Observatorio puede prestar asesoramiento a la unidad respecto a determinadas cuestiones en rela-ción con la elaboración de informes de resultados, tales como la estructura o los apartados del docu-mento, el lenguaje que va a emplearse (grado de tecnicismo), el modo en que se van a presentar los resultados (tablas, gráficas, etc.), la información que es relevante divulgar, etc., según el perfil de las per-sonas a las que éste se dirija.

6.1.4. Divulgar los resultados obtenidos

La divulgación de los resultados puede realizarse de distintas maneras. Una de ellas es dando a cono-cer el informe de resultados previamente elaborado pero, también, pueden llevarse a cabo otras actua-ciones como la publicación de una noticia a través de distintos medios de comunicación (radio, televisión, prensa o medios online), o de las páginas webs de organismos oficiales, etc.

Así, se persigue dar transparencia y rendir cuen-tas de la gestión y la actuación desarrollada mediante la divulgación de los resultados hacia la ciudadanía, los grupos de interés y los/as profesionales y emplea-dos/as implicados dentro de la administración.

Este paso es importante, ya que en ocasiones, se desconocen tanto los esfuerzos realizados (en tér-minos de gestión y distribución de recursos) como los efectos y resultados concretos del plan.

Este hecho contribuye a un distanciamiento entre sus responsables y los/as beneficiarios/as, o la ciu-dadanía en general. Así pues, con la transparencia, se implica a todos/as ellos/as en el logro de los resulta-dos alcanzados.

Para facilitar a las unidades la tarea de dar a cono-cer los documentos de interés elaborados en relación con los planes de actuación, el Observatorio puede realizar distintas actuaciones (cuadro 7):

Cuadro 6. Apoyo y soporte del Observatorio en la elaboración de informes de resultados.

¿Cómo puedeel Observatorio facilitarla elaboración del informede resultados?

Prestandoapoyo y

asesoramiento

En el diseño y estructuraciónde los contenidos del informe.

En el modo de cómo dara conocer y presentar los resultadosobtenidos, según distintos públicos objetivos.

?

33



6.1.4.1. Divulgación a través del Observatorio y del portal Mejora los Servicios Públicos

El Observatorio puede convertirse en un canal me-diador más de información y comunicación a través de sus servicios de difusión de noticias y novedades en relación con la mejora y la modernización de los Servicios Públicos andaluces.

Cuadro 7. Apoyo y soporte del Observatorio en la difusión de los resultados.

¿Cómo puedeel Observatorio facilitarla difusión de losresultados obtenidos?

Empleando laplataforma virtualdel observatorio

y del portal Mejora

Habilitando espacios virtuales dondelos/las responsables del plan puedan dar a conocer el avance de las actuaciones realizadas.

Dando difusión desde su portal y el portalMejora de los Servicios Públicos a documentosde interés en relación con el plan, disponibles paradistintos tipos de usuarios/as.

Publicando periódicamente noticias paradar a conocer el avance de las actuaciones realizadas.

?

DIFUSIÓN DE DOCUMENTACIÓN DE INTERÉS A TRAVÉS DEL PORTAL

Desde el espacio de “Documentación” del Observa-torio se divulgan distintos recursos documentales en formato digital. El informe de resultados del plan de actuación puede darse a conocer desde este espacio a la ciudadanía en general o restringiendo su acceso a determinados/as usuarios/as (altos cargos, personal implicado, principales beneficiarios/as, etc.).

Figura 17. Vista del espacio de “Documentación” dentro del portal del Observatorio.

34




DIVULGACIÓN DE RESULTADOS DESDE EL PORTAL

También, pueden publicarse noticias para divulgar el avance de las actuaciones realizadas a través de los espa-cios de novedades y noticias del Observatorio y del portal Mejora los Servicios Públicos.

Figura 18. Vista del espacio de “Novedades” dentro del portal del Observatorio y del Mejora.

6.2. Revisar y redefinir: retroalimentación del plan de actuación

La retroalimentación es un proceso, en el marco de seguimiento y evaluación, mediante el cual se aprende de la propia intervención. Se trata de recibir el “feedback” respecto a lo realizado, es decir, respec-to a las acciones que se han llevado a cabo recogien-do información y conocimientos que permitan eva-luar el progreso general alcanzado, tanto en relación con el logro de resultados como respecto a la mejora de la organización.

Resultado del proceso de retroalimentación se puede determinar el fin o la continuidad del plan.

6.2.1. Detectar las necesidades de la unidad

Se trata de realizar una diagnosis de la situación existente en el momento del cierre del ciclo del plan. Ello implica hacer balance entre la situación que existía antes de su implantación y la nueva situación tras su aplicación. Para ello ha de recogerse informa-ción en relación con las valoraciones y expectativas, tanto de la ciudadanía y los grupos de interés, como de los/as empleados/as y profesionales dentro de la organización.

Todo el conocimiento recopilado ha de ser utiliza-do para determinar cuáles son los puntos fuertes y débiles del plan.

35



Para facilitar a las unidades la tarea de diagnósti-co de nuevas necesidades en relación con los planes de actuación, el Observatorio puede realizar distintas actuaciones (cuadro 8).

6.2.1.1. Apoyo y asesoramiento en la detección de las necesidades de la unidad

El resultado final de la detección de necesidades es la extracción de conclusiones válidas que apoyen la redefinición del plan, o bien la toma de decisiones respecto a su continuidad o finalización. El Observa-torio, trabajando directa o indirectamente, en conjun-to o en colaboración, o simplemente prestando apoyo y asesoramiento a los/as técnicos/as de la unidad, tratará de extraer conclusiones globales a través de la experiencia y el conocimiento obtenidos durante todo el proceso de seguimiento y evaluación, con objeto de mejorar la implantación o los resultados del plan.

Este paso es fundamental para identificar las ac-tuaciones que han conllevado mejores impactos y que en el futuro pueden ser reproducidas para volver

a obtener buenos resultados, así como para deter-minar las acciones correctivas necesarias para aque-llas otras actuaciones que han generado efectos no deseados.

6.2.1.2. Creación de herramientas específicas y adaptadas para la detección de las necesidades de la unidad

Como ya se ha indicado, el Observatorio dispone de distintas herramientas para facilitar la recogida de información sobre las valoraciones y expectativas de la ciudadanía, grupos de interés y profesionales, etc. La puesta en marcha de las mismas contribui-rán, por un lado, a recabar información respecto a las nuevas necesidades y expectativas generadas tras el cierre del ciclo del plan de actuación y, por otro lado, a implicar a todas las personas y agentes implicados/as en el logro de los objetivos marcados por la unidad (consultándoles sobre sus opiniones y expectativas personales y requiriendo directamente su participación).

Cuadro 8. Apoyo y soporte del Observatorio en la detección de nuevas necesidades de las unidades.

¿Cómo puedeel Observatorio facilitarla detección de lasnuevas necesidadesde la unidad?

Prestando apoyoy asesoramiento


En el diseño y preparación de encuestas, forosy grupos de análisis que permitan recogerinformación sobre nuevas necesidadesy expectativas a partir de la participaciónde todas las personas y agentes implicados/as.

En la redefinición de sistemas de indicadoresy cuadros de mandos adaptados a las necesidadesde gestión de la información de la unidad.

En la redefinición del sistema de evaluacióny seguimiento del plan de actuación.

Gestionando foros y grupos de análisis(dinamizando la participación,proponiendo temáticas, etc.).

Creando y gestionando un cuadro de mandosadaptado a las necesidades de la unidad.

Creando cuestionarios online, foros de debatey grupos de análisis adaptados, a travésde los que puedan participar profesionalesy personas implicadas.

?

36




PARTICIPACIÓN DE PROFESIONALES Y PERSONAL IMPLICADO

Durante la detección de necesidades de la unidad, por ejemplo, pueden habilitarse foros de debate online a través del portal del Observatorio, donde los/as profesionales y el personal de la unidad puedan expresar sus opiniones y aportaciones en relación con el plan de actuación.

De esta manera, se incorporan las valoraciones y expectativas de los/as principales responsables e implica-dos en el logro de los objetivos del plan.

Las distintas herramientas de que disponte el Ob-servatorio para la recogida de información en relación con las valoraciones y las expectativas se exponen en el apartado 7. Mecanismos y herramientas del Observa-torio para el seguimiento y la evaluación.

6.2.2. Redefinir el plan de actuación

Una vez se han identificado los puntos fuertes y débiles, éstos han de ser valorados en la redefini-ción del plan, pudiendo incluso determinarse el no proseguir con la/el misma/o.Se trata de determi-nar los objetivos estratégicos y específicos que han de reorientar la intervención, y en función de los mismos proceder al rediseño del plan de actuación.

Para facilitar a las unidades la tarea de redefini-

ción de los planes de actuación, el Observatorio pue-

de realizar distintas actuaciones (cuadro 9).

6.2.2.1. Apoyo y asesoramiento en la redefinición del plan

Con la finalidad de contribuir a la mejora de la

calidad de los Servicios Públicos andaluces, el Ob-

servatorio pone a disposición de las unidades que lo

requieran el apoyo y el asesoramiento a lo largo del

proceso de toma de decisiones necesario para la re-

definición del plan de actuación.

¿Cómo puedeel Observatorio facilitarla redefinición del plande actuación?



A lo largo del proceso de toma de decisionespara la redefinición del plan de actuación,trabajando directa o indirectamente conlos/as responsables del mismo.

En la redefinición del modelo de seguimientoy evaluación del plan, así como de sus resultados.

Creando espacios virtuales de comunicaciónque faciliten el proceso de toma de decisiones,tales como foros de debate y gruposde análisis a través de los que puedanparticipar altos cargos y profesionales.

?

Cuadro 9. Apoyo y soporte del Observatorio en la redefinición de planes de actuación.

37



Asimismo, este apoyo y asesoramiento puede ex-tenderse a las tareas de revisión y redefinición del modelo de evaluación del plan con objeto de ajustarlo a las nuevas necesidades y objetivos de la unidad. Se tratará, en este caso, de valorar el grado de adecua-ción de la metodología aplicada para dicho modelo, aclarando previamente cuestiones relativas a:

La medición del grado de satisfacción de las •necesidades y expectativas de los/as benefi-ciarios/as del plan y de los grupos de interés: “¿El modelo de evaluación actual da respuesta a las principales necesidades y expectativas detectadas en el proceso de seguimiento?”. El seguimiento del rendimiento del plan: • “¿El modelo de evaluación actual define de manera explícita cómo medir de forma ade-cuada los resultados de los objetivos estable-cidos, esto es, los estándares de calidad y sus indicadores?”.

La evaluación de la eficacia, eficiencia e •impacto del plan: “¿Son pertinentes los in-dicadores definidos en relación con la efica-cia, eficiencia e impacto de las actuaciones impulsadas?”. Otros aspectos relevantes que deban ser con-•siderados.

6.2.2.2. Creación de espacios virtuales de comunicación

Durante la redefinición del plan los distintos agen-tes políticos y responsables participan en el proceso de identificación de las nuevas líneas estratégicas y actuaciones que han de realizarse. En este punto, el Observatorio puede contribuir a la mejora del flujo de la información y la comunicación, así como a la participación, de todos/as ellos/as.

6.2.3. Monitorización del plan de actuación

Cuando se hace operativo el plan de actuación, es decir, al emplear los recursos disponibles y ejecu-tar las actuaciones, ha de desarrollarse una impor-

tante tarea de monitorización de los procesos lleva-dos a cabo y de los productos o resultados que han sido generados.

Para facilitar a las unidades las tareas de monito-riazar los planes de actuación,el Observatorio puede realizar distintas actuaciones (cuadro 10).

APOYO Y ASESORAMIENTO

El Observatorio puede prestar apoyo y asesoramiento trabajando de manera directa, conjunta, en colabora-ción, o simple y puntualmente sobre determinadas cuestiones, con los/as responsables del plan.

ESPACIOS DE COMUNICACIÓN

El Observatorio puede habilitar espacios virtuales de comunicación entre los/as responsables políticos y gestores/as del plan a fin de facilitar la participación de todos/as ellos/as en la toma de decisiones durante su redefinición o reformulación. Precisamente, los grupos de análisis del Observatorio se constituyen con esta finalidad.

38




6.2.3.1. Apoyo yasesoramiento durante la monitorización del plan

En este caso, pueden ser de utilidad el dise-ño y la implantación de sistemas de indicadores y de cuadros de mandos que faciliten el seguimiento y la rápida identificación de los errores o puntos críticos durante la aplicación del plan. El Observa- torio puede prestar apoyo y asesoramiento en la

materia, adaptándose a las necesidades específicas de la unidad.

6.2.3.2. Creación de herramientas de soporte para la monitorización del plan

El Observatorio puede prestar soporte para la gestión de cuadros de mandos, tal como se explica en el apartado 7. Mecanismos y herramientas del Ob-servatorio para el seguimiento y la evaluación.

¿Cómo puedeel Observatorio facilitarla monitorizacióndel plan de actuación?



En la definición de sistemas de indicadoresy cuadros de mando que permitan seguiry evaluar la evolución del plan de actuación.

Creando y gestionando un cuadro de mandosadaptado a las necesidades del plan y que soportesu seguimiento y evaluación.

?

Cuadro 10. Apoyo y soporte del Observatorio en la monitorización de planes de actuación.

39MECANISMOS Y HERRAMIENTAS DEL OBSERVATORIO PARA EL SOPORTE DEL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN

Contenidos del apartado:•1. Servicios de apoyo y asesoramiento.

1.1. Evaluación de Políticas Públicas.1.2. Barómetro de satisfacción de la ciudadanía.1.3. Banco de Expectativas ciudadanas.1.4. Banco de Buenas Prácticas.

2. Herramientas de recogida de información.2.1. Cuestionarios online.2.2. Foros y grupos de análisis online.2.3. Peticiones.

3. Herramientas de gestión y seguimiento.3.1. Cuadro de mandos integral.

4. Espacios de difusión.4.1. Espacio de Noticias y novedades.4.2. Espacio de Documentación.

Palabras clave: •Cuadros de mandos, encuestas online, foros online, grupos de análisis.

VII.MECANISMOS Y HERRAMIENTAS

DEL OBSERVATORIO PARA EL SOPORTEDEL SEGUIMIENTO Y LA EVALUACIÓN

DE UN PLAN DE ACTUACIÓN

El interés del Observatorio es potenciar el prota-gonismo de las unidades en la implantación de pro-cesos de mejora continua, por lo que las tareas de asesoramiento y apoyo realizadas siempre irán enca-minadas a dotar de autonomía y a acompañar a las unidades para que puedan desarrollar exitosamente cuantas iniciativas deseen. Por ello, el Observatorio pretende adaptarse de manera flexible a las necesi-dades y demandas de las unidades.

En este sentido, el Observatorio puede ofrecer apoyo, tanto en los procesos de elaboración de un plan de actuación, como de evaluación y de mejora

del mismo, a través de la coordinación de distintos servicios tales como el Servicio “Participación Ciu-dadana” (que concentra la gestión de la participa-ción a través de encuestas, foros de debate y grupos de análisis online a través del portal) y otras herra-mientas de seguimiento como los cuadros de man-dos integrales.

La figura siguiente muestra una síntesis de los mecanismos y herramientas con los que actualmente cuenta y emplea el Observatorio para prestar apoyo y soporte en los procesos de seguimiento y evaluación de planes de actuación.

40



MECANISMOS Y HERRAMIENTAS DEL OBSERVATORIO PARA EL SOPORTE DEL SEGUIMIENTO Y LA EVALUACIÓN DE UN PLAN DE ACTUACIÓN

Servicios de Apoyo y

Asesoramiento

Herramientasde recogida de

información

Herramientasde gestión yseguimiento

Espacios dedifusión

Evaluaciónde políticaspúblicas

Banco deexpectativas

Banco debuenas prácticas

Barómetro

Cuestionariosonline

Grupos deanálisis

Peticiones

Cuadrode mandosintegral

Foros online

DocumentaciónNovedades ynoticias

Cuadro 11. Mecanismos y herramientas para la evaluación de planes de actuación del Observatorio.

A continuación se detallan cada uno de ellos.

7.1. Servicios de apoyo y asesoramiento

7.1.1. Evaluación de políticas públicas

El apartado “Seguimiento y Evaluación de Políti-cas Públicas” es un servicio innovador del Observato-rio que pone a disposición de las distintas unidades asesoramiento y las distintas posibilidades que per-mite el portal del Observatorio para realizar el segui-miento y evaluación de políticas públicas concretas, tanto de carácter transversal como más específico desarrolladas en el ámbito de la Junta de Andalucía, tales como planes de actuación y de mejora, planes de seguimiento, etc.

Posiblemente, es a través de este servicio desde el que se manifiesta en la práctica y en mayor grado el pluralismo metodológico por el cual aboga el Ob-servatorio, tal como se ha expuesto en el apartado 5. El modelo de seguimiento y evaluación del Observatorio. Dentro de servicio, el Observatorio aporta, al segui-miento y evaluación de políticas públicas y planes, la aplicación de distintas metodologías e instrumentos de evaluación capaces de recoger toda la riqueza de

matices, sinergias, resultados e impactos que gene-ran con su actuación las organizaciones públicas. El seguimiento y la evaluación se enriquecen mediante la incorporación de distintas perspectivas transversa-les (legal, económica, social, de género, medioam-biental, etc.) siempre con el objetivo de mejorar la calidad de los Servicios Públicos andaluces y la Ad-ministración andaluza.

Por ejemplo, el Observatorio integra a su actividad de análisis el mainstreaming (transversalidad) de gé-nero, de tal manera que para valorar el impacto de las políticas y planes en relación con el principio de Igualdad de Oportunidades se establecen indicado-res específicos de género en relación con la calidad de los servicios y prestaciones. También, se elabo-ran cuestionarios (“checklist”) que las diferentes uni-dades, servicios u organizaciones que lo requieran puedan autoevaluarse y situarse en la perspectiva de género y calidad asumida y hacer visible su nivel de compromiso y de adquisición de la misma.

Además, este servicio se vale de la aplicación de nuevas tecnologías y su finalidad es favorecer la sistematización de estos procesos. En este sentido, dentro de dicho servicio se puede difundir informa-ción general sobre el proceso que se lleva a cabo,

41



incluir documentación de interés (informes, estudios, enlaces, etc.) y utilizar un cuadro de mandos para el seguimiento de indicadores claves que permitan medir el progreso en el logro de resultados. Dicho cuadro de mandos se expone dentro del apartado 7.3 Herramientas de gestión y seguimiento.

7.1.2. Barómetro de satisfacción de la ciudadanía

El “Barómetro de satisfacción de la ciudadanía” pretende recoger periódicamente la opinión de la ciu-dadanía en relación con la calidad y la modernización de los Servicios Públicos en Andalucía, de forma que pueda ir conociéndose la evolución de los resultados con el paso del tiempo.

La información suministrada por el Barómetro puede arrojar conocimiento sobre las tendencias glo-bales relacionadas con alguna de las temáticas que este estudia: la calidad, el funcionamiento y la infor-mación de los Servicios Públicos andaluces, el uso de los servicios electrónicos y la e-administración, y la participación ciudadana. Esta información pue-de ser de utilidad para evaluar el impacto en la ciu-dadanía de determinados planes de actuación, así como para tenerla en cuenta en el diseño o rediseño de los mismos.

7.1.3. Banco de Expectativas ciudadanas

Es un servicio que parte de la detección, recopi-lación, sistematización, análisis y difusión de aquello que los/as ciudadanos/as esperan y sugieren en re-lación con la prestación de los servicios públicos y con la administración electrónica. El Banco, a su vez, tiene como fuente de conocimiento la información su-ministrada a partir de otros servicios del Observato-rio, tales como el “Barómetro de opinión de la ciuda-danía” o el “Seguimiento de las Cartas de Servicios”. También, recaba información de otras fuentes, tanto de carácter cuantitativo como cualitativo, fuera del Observatorio y relevantes para el estudio de las ex-pectativas ciudadanas, como la Central de Atención y Relaciones con la Administración Andaluza (CLARA).

El Banco puede ofrecer datos relacionados con las expectativas de la ciudadanía dirigidos a nutrir de in-formación relevante tanto el proceso de elaboración

de un plan de actuación, como de evaluación y de mejora cuando esté ya elaborado.

7.1.4. Banco de Buenas Prácticas

El “Banco de Buenas Prácticas” es un catálogo que recoge un conjunto variado de experiencias creativas e innovadoras en materia de calidad de los servicios. El seguimiento de las principales temáticas sobre las que se desarrolla un mayor nivel de innovación, per-miten identificar tendencias concretas respecto a la modernización de los Servicios Públicos andaluces.

Este catálogo de iniciativas y experiencias consi-deradas como las mejores, puede ser consultado con objeto de analizar todas aquellas que puedan ser un buen referente a seguir respecto al ámbito específico del plan de actuación.

7.2. Herramientas de recogida de información

El Servicio “Participación ciudadana” del Obser-vatorio se centra en el estudio de las valoraciones y expectativas de la ciudadanía y de los/as profesiona-les relativas a temáticas de diversa índole, siempre relacionadas con la mejora de la calidad y la moder-nización de los Servicios Públicos andaluces.

Además de ser un área destinada al fomento de la participación de la ciudadanía y de los/as profesio-nales, se complementa con el portal “Mejora los Ser-vicios Públicos” y cuenta con distintas herramientas para la recogida de información: encuestas, foros de debate y grupos de análisis online.

7.2.1. Cuestionarios online

Son una herramienta muy útil cuando se desea recoger el estado de opinión de un número elevado de personas (población objetivo) y en un momento determinado. Los cuestionarios contribuyen a la ob-tención de datos de un modo estructurado y median-te preguntas específicas, a partir de procedimientos basados en el análisis cuantitativo y estadístico.

El Observatorio se vale de la utilización de las nuevas tecnologías para habilitar encuestas online. Además, de permitir una rápida recogida de datos,

42




ésta herramienta facilita la consulta de manera instantánea de los resultados de la participación a través de gráficas (que, a su vez, agiliza la tarea de elaboración de conclusiones o de informes de esos resultados).

7.2.2. Foros y grupos de análisis online

Son espacios habilitados virtualmente para que la ciudadanía, en general, los/as profesionales, los/as técnicos/as de la administración y los/as agentes interesados/as en el proceso de modernización y de mejora de los Servicios Públicos andaluces puedan expresar, intercambiar y compartir sus opiniones, reflexiones y experiencias. Asimismo, permiten la recogida de las expectativas y la satisfacción de la ciudadanía mediante la aplicación de metodologías de análisis cualitativas.

En función de las necesidades de información de las unidades pueden constituirse foros de debate vir-tuales dirigidos a la participación de la ciudadanía en general, por ejemplo para recabar sus valoraciones respecto a las actuaciones que ha puesto en marcha el plan, o crearse grupos de análisis (más reducidos en cuanto al número de participantes y restringidos a las personas invitadas) en los que podrán intervenir los/as responsables del plan o personal experto para intercambiar sus opiniones respecto a la evolución de los resultados alcanzados.

7.2.3. Peticiones

Es un espacio que ofrece la posibilidad a los/as usuarios/as de dar sus opiniones y/o aportar sus su-gerencias. Puede ser un buen canal para establecer una comunicación más personalizada con el personal implicado, los grupos de interés y/o los/as beneficia-rios/as del plan, a través del que poder recepcionar y atender sus dudas, sugerencias, etc.

7.3. Herramientas de gestión y seguimiento

7.3.1. Cuadro de mandos integral

El cuadro de mandos es una de las herramientas del Observatorio integradas en el espacio de “Indica-

dores”. Dicho espacio se ha diseñado dentro del Ob-servatorio con la finalidad de facilitar la recopilación sistemática, la recogida de información, la compara-ción, el análisis, la evaluación y el seguimiento, etc., sobre distintas temáticas en relación con la calidad de los Servicios Públicos de la Junta de Andalucía.

El cuadro de mandos permite:

Centralizar en un espacio los indicadores de-•finidos para el seguimiento y evaluación de un plan de actuación.Recopilar y actualizar los resultados de los •indicadores. Dar a conocer a los públicos deseados (altos •cargos, personal implicado, etc.) de manera dinámica e instantánea los resultados de las actuaciones desarrolladas.Realizar el seguimiento y la evaluación de los •resultados del plan de actuación, por lo que facilita la corrección de resultados no desea-dos y la adopción de medidas o actuaciones correctivas.

El cuadro de mandos se establece como un siste-ma de análisis completo que, a través de un sistema de indicadores vinculados por un objetivo común, pre-tende medir un objeto de estudio concreto. Una vez delimitado el objeto de estudio que se desea estudiar se establece una definición conceptual del mismo, que permitirá poner límites y canalizar el análisis.

Bajo esta perspectiva, el proceso de operativiza-ción seguido en los cuadros de mando del Observato-rio se presenta en la figura 19.

Tras su operativización, transformando los con-ceptos teóricos en elementos medibles, puede proce-derse a la creación de indicadores que expresarán la relación y el modo de medición y análisis.

Los indicadores permiten seguir de manera con-tinua aquellos aspectos objeto de estudio en relación con el plan y evaluar el grado de logro respecto a unos estándares previamente definidos. Para cada indicador se establece un valor objetivo de calidad (valor a partir del cuál se considera que se ha supe-rado el estándar de calidad deseable) y un umbral de cumplimiento (valor que alcanza un nivel acepta-ble respecto al estándar, pero que no supera la meta de calidad deseada, más ambiciosa). De esta for-ma, se hace posible conocer si se están cumpliendo

43



de forma satisfactoria los objetivos establecidos y en que medida. Esto permite distinguir tres niveles de cumplimiento respecto a los objetivos y umbrales de calidad: bajo, medio y alto.

Estos niveles de cumplimiento, asimismo, se co-rresponden y visualizan en el cuadro de mandos con tres colores indicativos a modo de semáforo, como se muestra en la figura 20.

Delimitación del objeto de estudio

Definición conceptual del objeto de estudio

Concepto teórico

Concepto medible

Dimensionalización del concepto objeto de estudio

Dimensión 1 Dimensión 2 Dimensión N(...)

(...)

(...)

Subdimensión

Indicadoresasociados

1

Subdimensión

3

Subdimensión

4

Subdimensión

N

Subdimensión

2





Figura 19. Proceso de operativización de los cuadros de mandos del Observatorio.

Figura 20. Visualización de distintos niveles de cumplimiento respecto a objetivos dentro de un cuadro de mandos del Observatorio.

Nivel de cumplimiento

BAJO

Umbral de cumplimiento Objetivo de calidad

Valor registrado


MEDIO


ALTO

ROJO: no progresa adecuadamente

AMARILLO:necesita mejorar

VERDE: progresaadecuadamente

44




Los indicadores se asocian a objetivos transver-sales que marcan compromisos de cara a la ciu-dadanía. Un objetivo puede ser evaluado a partir del seguimiento de distintos indicadores vinculados a múltiples subdimensiones. Y un indicador puede pertenecer a varios objetivos. Los objetivos han de ser definidos por las personas que lideran el plan, para garantizar que ésta responde a las directrices

de actuación de la organización. Permiten evaluar el nivel de cumplimiento (bajo, medio, alto) respecto a la consecución de dichas directrices.

Como ejemplo, se explica como se ha organizado el cuadro de mandos creado por el Observatorio para el seguimiento de la Estrategia para la Modernización de los Servicios Públicos de la Junta de Andalucía.

Figura 21. Ejemplo: Estructuración del cuadro de mandos para el seguimiento de la Estrategia para la Modernización de los Servicios Públicos.

Concepto teórico: Estrategia para la Modernización

Dimensión 1:Administración

próxima

Dimensión 3:Creación de valor

a través de laspersonas

Dimensión 4:Gestión del

conocimiento

Dimensión 5:Cooperación

Dimensión 2:Orientación a resultadosy compromiso público

Objetivos

Subdimensión 1:Promover la cultura

de orientación a resultados y mejora

continua

Subdimensión 2:Desarrollar

mecanismos demedición, de

evaluación y de mejora

Subdimensión 3:Herramientas que

faciliten la elaboracióny evaluación de lascartas de servicio

Indicadores Indicadores Indicadores

Los indicadores se asocian, a su vez, a objetivos transversales.

Un Objetivo puede tener indicadores de múltiples Subdimensiones.Un indicador puede pertenecer a varios objetivos.

Cada línea estratégica dentro del documento de la Estrategia, se compone de varios objetivos. Por ejemplo, la línea “Orientación a resultados y compromiso público”, tiene como objetivos:

Promover la cultura de orientación a resultados y mejora continua. Desarrollar mecanismos de medición, de evaluación y de mejora continua de la calidad de los servicios.Establecer herramientas que faciliten la elaboración y evalua-ción de las cartas de servicios.

Estos tres objetivos se corresponden con tres subdimensiones de análisis dentro del cuadro de mandos. Dichas subdimensiones sólo se asocian a la dimensión “Orientación a resultados y compromiso público”.

Cada Subdimensión tiene asociados varios indicadores.Un indicador sólo puede pertenecer a una subdimensión.

La estrategia se articula a través de cinco líneas estratégicas clave: Administración próxima, Orientación a resultados y compromiso público, Creación de valor a través de las personas, Gestión del conocimiento y Cooperación.

Estas cinco líneas se corresponden con cinco dimensiones de análisis dentro del cuadro de mandos del Observatorio.

45



7.4. Espacios de difusión

7.4.1. Espacio de Noticias y novedades

El Observatorio dispone de un espacio de divulga-ción propio a través del que da a conocer noticias y novedades en relación con la mejora y la moderniza-ción de los servicios y de las administraciones públi-cas. Dentro del mismo, también, pueden elaborarse y publicarse noticias u otras reseñas para ofrecer in-formación a la ciudadanía relativa a los resultados alcanzados durante el proceso de seguimiento y eva-luación del plan.

7.4.2. Espacio de Documentación

El espacio de “Documentación” es otro de los módulos del Observatorio desde el que se puede acceder a estudios, informes u otra documentación

de interés en relación con los ámbitos de conocimien-to abordados.

Pero, también, es un espacio a través del cual las unidades pueden dar a conocer los resultados del se-guimiento y la evaluación realizados a través de la pu-blicación de informes o documentos de interés. Los mismos pueden ser divulgados restringiendo el perfil de acceso a los mismos según se desee. Por ejemplo, pueden publicarse documentos específicos que sólo podrán consultar usuarios/as autorizados/as y regis-trados/as en el portal del Observatorio.

Como se ha comentado anteriormente, la divul-gación de los resultados y de las actuaciones de-sarrolladas, además de ser fundamental para dar transparencia y rendir cuentas respecto a la gestión realizada, es un paso importante para acercar e implicar a la ciudadanía, los grupos de interés y los/as profesionales y empleados/as implicados dentro de la administración.

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

46

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

VIII. ANEXO ITIPOS DE EVALUACIÓN

Contenidos del anexo I:•1. Tipos de evaluación según quién evalúa.2. Tipos de evaluación según su función.3. Tipos de evaluación según su contenido.4. Tipos de evaluación según la fase o el momento en el que se plantea.

Palabras clave: •Evaluación ex ante, evaluación ex post, evaluación externa, evaluación de balance, evaluación de diseño, evaluación de la calidad, evaluación de necesidades, evaluación de proceso, evaluación de resultados, evaluación in itinere, evaluación interna, evaluación mixta.

47

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

Atendiendo a la literatura especializada, existente en relación con las diferentes aproximacio-nes en el análisis de evaluación de políticas públicas, se distinguen distintos tipos de seguimiento y evaluación en función de los siguientes criterios:

Quién realiza la evaluación.• Cuál es la función o finalidad de la evaluación.• Cuál es el contenido de la evaluación.• Cuál es el momento o fase en el que se realiza la evaluación.•

Según estos criterios se establece la siguiente clasificación.

Estos tipos de evaluación, aunque no constituyen tipos excluyentes, determinan en buena ma-nera las técnicas de análisis más idóneas que han de utilizarse en cada caso.

A continuación se detallan cada uno de estos tipos de evaluación.

8.1. Tipos de evaluación según quién evalúa

Según la evaluación se realice por personal interno e implicado de la organización o por pro-fesionales externos se distinguen los siguientes tipos.

Interna o autoevaluación•La realiza el propio personal implicado en la definición e implantación de una política pública o plan de actuación. Puesto que la evaluación es realizada por aquellas personas más familiarizadas con los detalles de una política o plan es más sencilla la identificación de puntos fuertes y débiles desde un conocimiento generado “desde dentro”, aunque la evaluación puede contar con una menor objetividad. Requiere un proceso de aprendizaje y de sensibilización por parte de sus responsables o gestores/as que se convierten en evaluadores/as. Por ello, éstos/as han de concienciarse de la utilidad de la evaluación como una herramienta de mejora continua.

Externa•La evaluación es desarrollada por profesionales independientes o expertos/as en la ma-teria no implicados directamente con la organización o en el proceso de definición e im-plantación de una política o plan. Los/as evaluadores/as externos/as ofrecen una mayor rigurosidad y objetividad en la valoración de los resultados. A diferencia de evaluadores/a internos/as, éstos/as emiten con una mayor independencia juicios que pueden generar mayores fricciones o cambios.

Cuadro 12. Tipos de evaluación.

Quién realiza laevaluación

Interna oautoevaluación

Externa

Mixta

De necesidades

Formativa ocorrectiva

De balance oconclusiva

Conceptual ode diseño

De gestión o deproceso

De resultados eimpactos

De la calidad

Su función Su contenidoEl momento en

el que se realiza

Ex ante

Ex itinere

Ex

48

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

Mixta• Trata de combinar los dos tipos de evaluación anteriores permitiendo la participación en el proceso evaluador tanto de evaluadores/as internos/as como externos/as. La finalidad es favorecer un contacto directo entre los/as responsables de una política o plan y los/as evaluadores/as externos/as para enriquecer el proceso evaluador incorporando aproxi-maciones metodológicas nuevas y distintas de las aportadas por los/as gestores/as.

8.2. Tipos de evaluación según su función

Según su función6 pueden distinguirse tres tipos de evaluación básicos: evaluación de necesi-dades, evaluación formativa o correctiva y evaluación conclusiva o de balance.

De necesidades•Con este tipo de evaluación lo que se persigue es identificar los puntos fuertes y las debi-lidades del planteamiento de una política o plan. Normalmente, se realiza en el momento de formulación o redefinición de nuevas políticas o planes, cuando se precisa una mayor información respecto al problema que pretende resolverse o reconducirse con una política o plan evaluado.

Es muy adecuada cuando existe una gran complejidad, entre la variedad de objetivos o metas y de recursos empleados tanto materiales como humanos.

Por ejemplo, el tipo de preguntas que se enuncian con este tipo de evaluación son: “¿Cuá-les son los puntos críticos que presenta el problema?” o “¿Cuáles son los/as beneficia-rios/as de la aplicación del plan?”.

Formativa o correctiva•Su finalidad es evaluar cómo se ha desarrollado una política o plan. Suele realizarse en el momento de su implementación, cuando se requiere una mayor información respecto a su grado de operativización y a la gestión eficiente de los distintos recursos empleados.

6. Entre las clasificaciones propuestas en la literatura producida al respecto, el Observatorio ha seleccionado la clasificación que se presenta. Algunos autores/as realizan otras distinciones en las que varía el número de tipos de evaluación. Por ejemplo, el modelo desarrollado por el CEV (Centro para el Estudio de la Evaluación) de la Universi-dad de California de Los Ángeles recoge cuatro tipos de evaluación: “evaluación de necesidades”, “planificación del programa”, “evaluación formativa” y “evaluación sumativa”.

Cuadro 13. Tipos de evaluación según quien evalúa.

Interna oautoevaluación

Tipo deevaluación

Necesidad dela evaluación

Externa

Mixta

Responsableso agentes gestoresde la política o plan

Identificar puntos fuerteso débiles por aquellos/as queestán más familiarizadoscon la política o plan

Incorporar la experienciade expertos/as en laidentificación de puntosfuertes y débiles

Profesionaleso expertosindependientesde la política o plan

Identificar puntos fuerteso débiles por los/as responsables de la políticao plan y a través de la experiencia de expertos/as

Agentesevaluadores

Momento deevaluación

Responsableso agentes gestoresde la política o planProfesionaleso expertos/asexternos/as

En cualquiermomento ofase del proceso



49

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

La evaluación persigue comprobar si existen dificultades o puntos críticos, e identificar las acciones correctivas o alternativas para intervenir sobre posibles desviaciones o erro-res producidos durante la etapa de desarrollo.

Las preguntas que han de formularse con este tipo de evaluación son, por ejemplo: “¿Cómo puede mejorar el plan que se está llevando a cabo?”, “¿Cuáles son los aspectos más débiles o deficitarios de la gestión realizada?” o “¿Pueden mejorarse las actuaciones implementadas?”.

De balance o conclusiva•Su objetivo es evaluar los efectos de una política o plan. Se realiza en el momento de ba-lance, cuando lo que se pretende es controlar los resultados e impactos, tanto esperados como no esperados, alcanzados tras su implantación.

Las conclusiones obtenidas de este tipo de evaluación pueden llevar a tomar la decisión de si se deben continuar o suspender las actuaciones.

Las preguntas que se plantean con este tipo de evaluación son, por ejemplo: “¿Hasta qué punto los resultados que se esperaban obtener han sido cumplidos satisfactoriamente?”, “¿Cuáles son los efectos directos e indirectos producidos?” o “¿Debería continuarse el plan en el futuro?”.

Las evaluaciones formativas tratan de realizar un aprendizaje respecto a lo realizado. El resto de evaluaciones tienen un carácter sumativo respecto al conocimiento generado y su finalidad es apoyar la toma de decisiones o permitir la elaboración de juicios sobre el valor de lo evaluado.

Las evaluaciones formativas tratan de realizar un aprendizaje respecto a lo realizado. El resto de evaluaciones tienen un carácter sumativo respecto al conocimiento generado y su finalidad es apoyar la toma de decisiones o permitir la elaboración de juicios sobre el valor de lo evaluado.

Cuadro 14. Tipos de evaluación según su función.

De necesidades

Tipo deevaluación

Tipo de informacióna recabar

Formativa ocorrectiva

De balanceo conclusiva

Facilitar la formulación oreconducción de lapolítica o plan

Situación del problema aresolver o intervenir

Resultados generados

Alternativas o mejoras

Grado de operativización dela política o planGrado de implantación deprogramas o actuaciones

Gestión de recursos humanos

Distribución de recursos

Asegurar que lamanera de implementar unapolítica o plan es lamás eficiente

Resultados globalesgenerados

Impactos y otros efectosesperados o no esperados



Satisfacer las exigencias decontrol o balancesobre la eficacia de la acciónadministrativa

Etapa deimplementaciónde la política oplan

Etapa deformulación depolíticas o planes

Etapa de cierrede ciclo de lapolítica o plan

50

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

8.3. Tipos de evaluación según su contenido

En función de los elementos que se evalúan de una política pública o plan de actuación, se distinguen tres tipos de evaluación respecto a su contenido: de diseño, de gestión o de proceso y de resultados e impactos7.

Conceptual o de diseño•Este tipo de evaluación pretende esclarecer si las metas y objetivos pueden ser alcan-zados a partir de una política o un plan diseñado. Por ello, se ocupa del análisis de la racionalidad y coherencia de su diseño asegurando una conexión o correspondencia entre la lógica del modelo diseñado y los instrumentos de intervención seleccionados. Entre los elementos que han de ser evaluados están:

Los problemas o circunstancias que justifican su necesidad y la bondad del diagnós- »tico realizado para identificar los mismos. Los objetivos definidos y la manera en que se entenderá que éstos se han cumplido »(sistema de medición). La validez de la estrategia diseñada. » Los recursos e instrumentos utilizados para alcanzar los objetivos definidos. » La metodología empleada. » La compatibilidad de una política o plan con otras políticas, planes y programas. » Etc. »

Por ejemplo, el tipo de preguntas que se plantean con este tipo de evaluación son: “¿Están bien conceptualizados los problemas?” o “¿Existe correspondencia entre los objetivos de-finidos y los problemas identificados en la fase de diagnóstico de las necesidades?”.

De gestión o de proceso•Su finalidad es mejorar la gestión de una política o plan implementados proporcionando un mayor conocimiento respecto a sus responsables o agentes gestores/as (grado de im-plicación, coordinación, etc.) y los procedimientos y criterios de funcionamiento interno de la organización (reparto de tareas, recursos financieros, etc.).

Este tipo de evaluación facilita el proceso de adopción de las decisiones para poner en marcha la gestión de las políticas. Además de abarcar desde el diseño hasta la ejecución, también, trata otros aspectos como el presupuesto o el plan de comunicación de la polí-tica o plan.

Las preguntas abordadas en este tipo de evaluación son, por ejemplo: “¿Cuál es el grado de implicación de los/as gestores/as en la puesta en marcha del plan?” o “¿Son suficientes los medios humanos, materiales y financieros para alcanzar los objetivos marcados?”.

De resultados e impactos•Este tipo de evaluación facilita información sobre los resultados y los impactos de una po-lítica o un plan de actuación, e intenta mostrar en que medida los efectos observados se deben a la/el misma/o y no a otros factores externos. Mediante la evaluación se consigue determinar el grado de eficacia y eficiencia alcanzado. Suelen distinguirse dos niveles de evaluación. En primer lugar, la evaluación de los resultados, es decir, respecto al cumpli-miento de los objetivos perseguidos. Se centra en los resultados inmediatos, directos y concretos generados en los/as destinatarios/as y beneficiarios/as (población objetivo).

En segundo lugar, la evaluación de los impactos, es decir, de los efectos que redundan de manera menos inmediata sobre la población en general. En la mayoría de las ocasiones,

7. Otros autores realizan otras clasificaciones en relación con el contenido de la evaluación. Por ejemplo, Tamayo Saez, M. (1997), identifica nueve modelos de evaluación, a los que relaciona con las diferentes fases del ciclo de la política pública: evaluación anticipativa, evaluación de la evaluabilidad, evaluación de necesidades, evaluación de la teoría y diseño, evaluación de viabilidad política, evaluación de implantación, estudios de seguimiento de programas, evaluación de impacto, evaluación de calidad.

51

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

estos efectos no son tan directos y es preciso que transcurra cierto tiempo desde la eje-cución de una política o plan para apreciarlos.

Con este tipo de evaluación se plantean preguntas tales como: “¿Se están alcanzando los parámetros de referencia u objetivos establecidos?” o “¿Cuál es el coste de las acciones puestas en marcha?”.

De calidad •Como resultado de la ejecución de una política o plan pueden cumplirse todos sus obje-tivos y, sin embargo, no verse satisfechas las expectativas de la ciudadanía. Este tipo de evaluación trata de garantizar que se producen los beneficios esperados en la población objetivo. Parte del conocimiento de las valoraciones y expectativas de los/as destinata-rios/as o implicados/as (usuarios/as, grupos de interés, empresas, agentes sociales, clientes, etc.) para establecer la efectividad de una política o plan.

La evaluación puede realizarse en cualquier etapa, desde la fase de diseño hasta la de eje-cución de la política o plan, ya que concibe ésta como una unidad en su conjunto e intenta mostrar las conexiones entre sus distintos elementos y la satisfacción de las expectativas de los/as beneficiarios/as y clientes.

Suelen emplearse técnicas de recogida de información directa sobre las opiniones y ex-pectativas de las personas tales como encuestas, grupos de discusión, etc., así como, establecerse estándares concretos y medibles de calidad. Las preguntas que han de for-mularse con este tipo de evaluación son tales como: “¿Cuál es el grado de satisfacción de los/as usuarios/as?” o “¿Perciben los/as beneficiarios/as favorablemente los resultados de las actuaciones realizadas?”.

Cuadro 15. Tipos de evaluación según su contenido.

Conceptualo de diseño

Tipo deevaluación


De gestióno de proceso

De resultadose impacto

Garantizar la racionalidady la coherencia del modelode intervención diseñadorespecto a los objetivosque se quieren alcanzar

Bondad del diagnósticoprevio de necesidadesCorrespondencia entre problemas y objetivosLógica del modelo deintervención diseñadoCompatibilidad con otrosplanes

Conocimiento de laorganizaciónPresupuesto y recursosdestinados para la ejecuciónde la política o planProcedimientos y criteriosde funcionamiento interno

Asegurar que se está realizando una correcta gestión y ejecución dela política o plan

Grado de consecución delos objetivos establecidosEfetos producidos en los/asbeneficiarios/as de lapolítica o planOtros impactos generales



Verificar que se estánempleando de maneraeficaz y eficiente los recursos disponiblespara alcanzar losobjetivos


Etapa deformulaciónEn cualquiermomento


De la calidad

Grado de satisfacción de lasnecesidades y expectativas de los/as usuarios/as y clientesResultados alcanzados(esperados y no esperados)

Garantizar la conexiónentre los objetivos y lasactuaciones implantadasy la satisfacción de lasexpectativas de los/asusuarios/as y clientes

Durante todo el proceso

52

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

8.4. Tipos de evaluación según la fase o el momento en el que se plantea

Según el momento o etapa en que se plantea la evaluación, se distinguen tres tipos básicos:

Ex ante•Se usa en la fase de formulación de una política o plan y siempre antes de su ejecución. Su objetivo es proporcionar una evaluación previa que sirva como apoyo para la toma de decisiones, mostrando a sus responsables o agentes gestores/as, los aspectos que han de tenerse en cuenta si se quieren obtener buenos resultados. Su finalidad es determinar si una política o plan deben llegar o no a implementarse, por ello, trata de garantizar que su diseño permitirá alcanzar los objetivos para los que se ha planificado.

La evaluación contribuye, por tanto, a priorizar aquellas actuaciones de mayor impacto y a mejorar el diseño del modelo de intervención de una política o plan.

Los/as evaluadores/as con este tipo de evaluación se plantean preguntas, tales como: “¿Cuál es la bondad del diagnóstico previo de necesidades?”, “¿Cuáles son los resultados e impactos previsibles?” o “¿Son suficientes y adecuados los recursos disponibles?”. In itinere •Es una evaluación que se realiza en una etapa intermedia, entre la fase de formulación y la fase de finalización de una política o plan. Es decir, se aplica durante la fase de desarrollo, teniendo más sentido cuanto mayor sea el grado de implementación de las actuaciones.

Su finalidad es evaluar los impactos que vayan generándose, así como revisar aquellos aspectos evaluados ex ante que puedan cambiar durante la etapa de implementación (por ejemplo, nuevos recursos disponibles, objetivos difícilmente alcanzables, etc.). Cuando la fase de desarrollo o implementación de las actuaciones se prolonga en el tiempo, es recomendable hacer más de una evaluación intermedia.

Ex ante

Tipo deevaluación


In itinere

Ex post

Determinar si la política o plan deben llegar aimplementarse

Necesidades existentes

Conexión entre objetivosy necesidades

Pertinencia de los recursosy del modelo de intervencióndiseñado

Datos de seguimiento (datos económicos y financieros,recursos empleados, etc)

Grado de operativizaciónde programas o actuaciones

Realizar unseguimiento de laintervención encurso en base a los resultados alcanzados hastael momento

Resultados generados

Grado de adecuación de losmecanismos de gestión yseguimiento

Repercusión del plan decomunicación

Etc



Establecer el gradode consecución delos objetivos y larepercusión delos resultadoslogrados


Etapa deformulación depolíticas o planes


Cuadro 16. Tipos de evaluación según la fase o el momento en el que se plantea.

53

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

VII

I. A

NE

XO

I T

IPO

S D

E E

VA

LUA

CIÓ

N

Durante la evaluación se proponen preguntas como: “¿Los resultados alcanzados hasta el momento van en la línea de los objetivos del plan?” o “¿Se están empleando adecuada-mente el presupuesto asignado y los recursos disponibles?”.

Ex post •Es una evaluación de los resultados e impactos finales de una política o plan. Su finalidad es, por un lado, determinar el éxito obtenido y, por otro lado, facilitar la realimentación de información para su mejora o reformulación. Aunque este tipo de evaluación se lleva a cabo en la fase de finalización de una política o plan, en muchos casos es recomendable que sea ejecutada cuando ha transcurrido cierto tiempo desde ella, pues algunos de los impactos se hacen visibles con posterioridad.

Las preguntas que se formulan con esta evaluación son, por ejemplo: “¿Se alcanzado con éxito los objetivos?”, “¿Cuál es el grado de eficacia y de eficiencia?” o “¿Han sido adecua-dos los mecanismos de gestión y seguimiento diseñados?”.

Como se ha señalado, la selección de un tipo de evaluación específico frente a otros determi-na en buena manera los aspectos evaluados, así como las metodologías y técnicas de análisis que han de utilizarse. Sin embargo, los distintos tipos de evaluación descritos a lo largo de este apartado no son excluyentes entre sí. Pueden ser utilizados de manera integral, complementaria o consecutiva. Por ejemplo, una evaluación in itinere (según el momento en que se lleva a cabo) puede compaginarse con otras evaluaciones: mixta (según quién la realiza), formativa o correctiva (según su función), o de gestión (según su contenido). Mientras que podría iniciarse una evalua-ción ex ante seguida de una evaluación formativa y finalmente desarrollarse una evaluación de resultados e impactos. También, podrían elaborarse modelos alternativos integrando distintos elementos y aspectos de los anteriores tipos considerados como modelos ideales.

0. Í

ND

ICE

IX. ANEXO II TÉCNICAS DE ANÁLISIS

EMPLEADAS PARA EL SEGUIMIENTO Y LA EVALUACIÓN

Contenidos del apartado:•1. Técnicas de recogida de información.2. Técnicas de análisis.3. Modelos de seguimiento y evaluación.

Palabras clave: •Análisis DAFO, análisis PEST, árbol de objetivos, árbol de problemas, Enfoque del Marco Lógico, mainstreaming de género, método DELPHI, Modelo EFQM, Modelo SERVQUAL, Modelo QFD.

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

54

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

55

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

El seguimiento y evaluación de políticas y planes se ve acompañado de distintas metodologías y técnicas de análisis. Las mismas pueden distinguirse según se centren en alguno de los siguien-tes aspectos:

La recogida de información.•El análisis de la información.• El modelo de seguimiento y evaluación•

Según estos aspectos se establece la siguiente clasificación de métodos y técnicas empleados en el seguimiento y evaluación de políticas y planes.

A continuación se detallan estos métodos y técnicas.

9.1. Técnicas de recogida de información

Revisión documental•Constituye una revisión inicial de los estudios publicados u otros documentos relevantes que puedan contribuir a identificar las cuestiones principales que deberán tratarse.

Esta técnica está limitada por la disponibilidad y la accesibilidad de la documenta-ción, el modo en que se ha presentado y quién la ha presentado (posibilidad de sesgos, etc.), el método de almacenamiento y todas las cuestiones de calidad derivadas de estas restricciones.

Encuestas de opinión•Su finalidad es obtener datos de un número elevado de personas de un modo estructu-rado y mediante preguntas específicas, a menudo con procedimientos que permiten el análisis estadístico. La información se obtiene directamente de personas que han sido seleccionadas (muestra representativa) para establecer una base sobre la que puedan hacerse inferencias sobre una población más amplia.

El Cuestionario es el instrumento de la encuesta y es un instrumento de recogida de datos rigurosamente estandarizado que operacionaliza las variables objeto de observación e investigación. Las preguntas recogidas en él constituyen ítems que se corresponden con indicadores previamente definidos para estudiar dichas variables. Pueden distinguirse distintos tipos de preguntas:

PRINCIPALES MÉTODOS Y TÉCNICAS PARA EL SEGUIMIENTO Y LA EVALUACIÓN

Técnicas de recogidade información

Revisión documental

Encuestas de opinión

Entrevistas enprofundidad

Observación directa

Técnicas de grupo

Método DELPHI

Sistemas de indicadoresy cuadro de mando

Técnicas de análisisModelos de seguimiento

y evaluación

Análisis DAFO

Análisis PEST

Árboles de problemas yárboles de objetivo

Análisis de los impactos

Análisis de la eficiencia

Análisis de la eficacia

Enfoque del Marco

Lógico

EFQM

SERVQUAL

QFD

Otras técnicas

Cuadro 17. Principales métodos y técnicas para el seguimiento y la evaluación.

56

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

Según su

contestación

Abiertas o iocotómicas

Semiabiertas

Cerradas

Dicotómicas (2 alternativas de respuesta)

Categorizadas

Respuesta espontánea

Respuesta Sugerida

Elección simple

Elección múltiple

De orden

De escala o valoración

Según

su función

Filtro

Batería

De control

“Amortiguadoras”

(suavizan la introducción de temas comprometidos)

Según

su contenido

De identificación o sociodemográficas

De opinión

De conocimiento o nivel de información

Etc.

TIP

OS

DE

PR

EG

UN

TA

S

Figura 22. Clasificación de tipos de preguntas incluidas en un cuestionario.

Un cuestionario puede ser aplicado a través de diversos canales: vía presencial, vía telefónica, vía correo postal, vía telemática a través del uso de las nuevas tecnologías, etc. Las encuestas sirven de base a muchos estudios de seguimiento y evaluación, ya que facilitan la recogida de información directa respecto a las percepciones y expectativas de las personas implicadas o be-neficiarias de una política pública o plan de actuación.

Entrevistas en profundidad•Son fundamentales cuando desea obtenerse conocimiento a fondo respecto a cuestio-nes cualitativas. Proporcionan información directa a través de informantes claves (una persona o un grupo pequeño) mediante una serie de preguntas abiertas para orientar las conversaciones y permitiendo que se hagan nuevas preguntas como resultado del debate. El diálogo establecido durante la entrevista está estructurado y dirigido por un/a entrevistador/a, capaz de anotar y ordenar los datos recogidos. Es conveniente preparar un guión y grabar las intervenciones.

CREACIÓN DE CUESTIONARIOS EN EL OBSERVATORIO

Aplicando técnicas cuantitativas para la recogida de información, el Observatorio habilita, a través de su portal, cuestionarios online dirigidos a recabar información sobre las valoracio-nes y expectativas a partir de la participación de la ciudadanía.

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

57

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

Observación directa•La observación participante es una variante que puede definirse como “un conjunto de métodos de observación donde el investigador forma parte de los sucesos que se observan. El observador está en una relación “frente a frente” con los observados, recogiendo datos al mismo tiempo que participa con ellos dentro del marco de su vida natural. La participación directa del observador en la situación le permite obtener una imagen más detallada y completa de la situa-ción observada, pero, a su vez, tiene el inconveniente de que al estar inmerso en la situación que observa, está expuesto a la pérdida de objetividad” (Cicourel, 1982).

Se basa en la obtención de información útil y puntual observando a los demás, que con-tribuya a enriquecer el proceso de adopción de decisiones u obtener percepciones y con-clusiones procedentes de las personas implicadas o beneficiarias que puedan servir para mejorar una política pública o plan de actuación.

Técnicas de grupo•Dentro de las mismas pueden distinguirse las que se enumeran a continuación.

Tormenta de ideas (Brainstorming) »Se realiza cuando desea obtenerse con rapidez un gran número de ideas de un grupo sin enfrascarse en un debate pormenorizado. El grupo ha de reflexionar y exponer el mayor número de ideas posible acerca de una determinada cuestión. Las aportacio-nes realizadas por cada miembro del grupo permiten agrupar y seleccionar los pro-blemas, temas y cuestiones que se plantean, y establecer un orden de prioridad.

Este sistema anima a la gente a pensar de un modo crítico y creativo. También, suele ser el primer paso en un debate, que va seguido de otros métodos.

Grupo nominal »Se emplea cuando desea realizarse una jerarquización simple respecto de una lista de problemas, cuestiones o acciones en orden de importancia. En primer lugar, ha de confeccionarse dicha lista y, posteriormente, presentarse a los/as participantes del grupo para que cada uno de ellos/as clasifique los enunciados de la lista a través de una serie de fichas y su propio orden de prioridad. El número más alto (si hay diez enunciados será el 10) puede atribuirse al enunciado considerado como de mayor prioridad, el número siguiente al que venga a continuación, etc. La puntuación final total de cada enunciado permite establecer un orden de prioridad entre los problemas o cuestiones recogidas en la lista. Al igual que la técnica de la tormenta de ideas, este método es complementario de otros.

Debates y foros de discusión »Permiten obtener el consenso respecto a determinadas cuestiones a través de la in-tervención de un número reducido de personas, cuyas opiniones pueden ser conside-radas como expertas o relevantes en la materia.

Grupos de discusión »Utiliza el debate de un grupo para recoger información general, aclarar detalles u ob-tener opiniones, pero las personas que participan en el mismo son seleccionadas por ser informantes claves o personas consideradas expertas en la materia.

El grupo suele ser reducido (el número ideal es de 4 a 8 personas) y pueden verse re-presentados en él diferentes puntos de vista. Este método también puede servir para promover la adopción de un consenso en torno a una determinada cuestión.

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

CREACIÓN DE FOROS DE DEBATE EN EL OBSERVATORIO

Aplicando técnicas de grupo para la recogida de información, el Observatorio ha-bilita, a través de su portal, foros de debate online dirigidos a recabar información sobre las valoraciones y expectativas de la ciudadanía.

58

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Método DELPHI•Se encuentra entre las técnicas grupales de carácter cualitativo, pero a diferencia de otras técnicas como los grupos nominales, permite una recogida de información semidirecta. Es una técnica basada en la constitución de un panel de expertos al que se pregunta sobre un tema específico, pidiéndosele respuestas razonadas y graduadas mediante una técnica a distancia (correo, fax, e-mail...), de forma que en rondas sucesivas se llega a un nivel de acuerdo.

Sistema de indicadores y cuadro de mandos•El sistema de indicadores expresa las interrelaciones entre un conjunto de indicadores en base a la política y la estrategia de la organización y los objetivos que ésta se ha marcado. Constituye no sólo un instrumento de recogida y sistematización de la información sino que, también, es una herramienta para su análisis posterior.

Un indicador es una medida o dato cuantitativo que ayuda a medir objetivamente la evolución de un proceso o de una actividad. Un buen indicador ha de cumplir las siguien-tes cualidades:

Ser pertinente y relevante respecto al objeto de estudio. »Ser preciso, es decir, reflejar fielmente la magnitud que quiere analizar. »Ser fiable y objetivo. »Ser rentable. Debe existir proporcionalidad entre, por un lado, los costes que conlleva »su medición y, por otro lado, los beneficios y la relevancia de los datos obtenidos para soportar la toma de decisión.Ser susceptible de medición de manera continuada o periódica. » Ser fácilmente interpretable. »Ser accesible. La recogida de datos debe ser factible. »Ser comparable espacial y temporalmente. »

En relación con las políticas públicas, los indicadores suelen orientarse a la medición y seguimiento de los logros, los procesos, los impactos y los resultados, etc., que gene-ra una política o plan de actuación concreto. Un sistema de indicadores es un conjunto de indicadores que se relacionan entre sí y que permiten evaluar la evolución de un pro-ceso o de una actividad en base a parámetros previamente establecidos. El cuadro de mandos se establecería como un sistema de análisis que, a través de dicho sistema de indicadores vinculados por un objetivo común, pretende medir la evolución de un proceso o actividad.

El cuadro de mandos constituye sólo una parte, especialmente visible, de un sistema de información y seguimiento desagregado, del cuál se extrae sólo ciertas informaciones seleccionadas para dar soporte y apoyo en la toma de decisiones que han de realizar los/as responsables de una política o plan. Dichas informaciones han de ser pertinentes para determinar si se está produciendo una inadecuada ejecución de las actuaciones o del em-pleo de los recursos, si se debe continuar o no con las acciones, etc. En este sentido, ha de destacarse que los cuadros de mandos no son imaginables ni definibles en abstracto, sino sólo en relación con la utilización que hagan del mismo los/as responsables de una política pública o plan de actuación determinados.

CREACIÓN DE GRUPOS DE ANÁLISIS EN EL OBSERVATORIO

Los grupos de análisis del Observatorio se basan precisamente en la aplicación de la técnica DELPHI. Son espacios virtuales de comunicación dirigidos especialmente a la participación de profesionales y expertos/as. Su finalidad es facilitar la participa-ción de todos/as ellos/as durante procesos de toma de decisiones y de detección de necesidades.

59

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

9.2. Técnicas de análisis

Dentro de éstas pueden distinguirse técnicas de análisis de diagnóstico, como el análisis DAFO, PEST y el diseño de árboles de problemas y árboles de objetivos, y otras técnicas de análi-sis de los impactos y efectos, como los modelos top-down y bottom-up, el análisis shift-share, etc. A continuación se detallan las técnicas más destacadas.

Técnicas de diagnóstico.•

Análisis DAFO »Se emplea para identificar los factores relacionados con las debilidades, amenazas, fortalezas y oportunidades (DAFO) de una política o plan. Estos factores serían:

Debilidades > : Factores en relación con aquello que no ha funcionado tan bien, que deberían mejorar o evitarse. Por ejemplo, aquello que la ciudadanía percibe que es deficitario o una debilidad, u otras cuestiones que puedan reducir las fortale-zas para la aplicación de la política o plan.

Amenazas > : Factores que limitan o amenazan toda la serie de oportunidades de éxito de la política o plan. Obstáculos de diversa índole, poca disponibilidad de recursos, mala coordinación en las actuaciones, etc., pueden ser considerados como amenazas.

Fortalezas > : Factores que suponen una ventaja para la aplicación de la política o plan. Por ejemplo, el acceso o la buena disponibilidad de recursos, una percep-ción o valoración favorable respecto a la implantación de la política o plan, etc.

Oportunidades > : Factores que contribuyen a subsanar las debilidades y sacar pro-vecho de las fortalezas. Una coyuntura favorable, los cambios en la tecnología, en la normativa legal, en la sociedad, etc. pueden ser oportunidades que ayuden a la aplicación de la política o plan.

Este método es útil para pensar en posibles dificultades y soluciones. Contribuye a convertir los errores o deficiencias detectados en procesos constructivos de aprendi-zaje, y hacer que problemas complejos sean más fáciles de resolver en el plazo más breve posible.

EMPLEO DE CUADROS DE MANDOS

El portal del Observatorio cuenta con distintos cuadros de mandos asociados a dife-rentes servicios dentro del espacio “Indicadores”. Estos cuadros de mandos le permi-ten al Observatorio realizar un seguimiento continuado en el tiempo respecto a diver-sas temáticas en relación con la calidad y la modernización de los Servicios Públicos y la Administración en Andalucía: la evolución en los compromisos contenidos en las Cartas de Servicios, las acciones de mejora impulsadas en la Junta de Andalucía, el avance en la e-administración, etc.

APLICACIÓN DEL ANÁLISIS DAFO

Este modelo de análisis ha sido empleado por el Observatorio en el estudio de las expectativas de la ciudadanía andaluza en relación con la mejora y la moder-nización de los Servicios Públicos andaluces y la Administración andaluza. Véase Análisis de fuentes de información del Banco de Expectativas del Observatorio para la Mejora de los Servicios Públicos (2007).

60

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Análisis PEST »Se emplea para analizar los factores externos que inciden en una política pública o plan de actuación. Estos factores pueden verse condicionados por la situación previa de la región o del país donde se implanta la política, por la existencia de organismos oficiales y privados que puedan prestar su colaboración, las condiciones geográficas del entorno, el acceso y disponibilidad a las nuevas tecnologías de la información y la comunicación (NTIC), etc.

El análisis PEST sintetiza cuatro aspectos:

Políticos: > Factores relacionados con la estabilidad gubernamental, las políticas públicas existentes, el marco legal y normativo, etc.

Económicos: > Factores que abordan la coyuntura económica, el ciclo económico, la evolución de las macromagnitudes económicas (renta, empleo, etc.), nivel de desarrollo.

Sociales: > Factores relativos a la evolución demográfica, la movilidad social, los cambios en los estilos de vida, el nivel educativo, etc.

Tecnológicos > : Factores relacionados con el grado de implantación de las tecno-logías, el gasto público en investigación y desarrollo tecnológico, distribución y transmisión de la tecnología, etc.

Árboles de problemas y árboles de objetivos »

Figura 23. Ejemplos de estructura de un árbol de problemas y un árbol de objetivos

ÁRBOL DE PROBLEMAS ÁRBOL DE OBJETIVOS

Efecto 1

Efecto 2

Efecto 3

Efecto 4

Problema 1

Causa 1

Causa 2

Subcausa 1

Subcausa 2

Subcausa 3

Subcausa 4

Subcausa 5

Subcausa 6

Subcausa 7

Actuación 1 (para subsanar

subcausa 1)


subcausa 2)


subcausa 3)


subcausa 4)


subcausa 5)


subcausa 6)


subcausa 7)

Objetivo específico 2

Objetivo específico 1

Objetivo General(Subsanar

problema 1)

61

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Son representaciones descriptivas que proporcionan una visión global, pero simplifi-cada, de las relaciones de causa y efecto. Su finalidad es, por un lado, identificar un problema básico y sus efectos y causas subyacentes, y por otro lado, determinar los objetivos esenciales y las actividades necesarias para abordar el problema y llegar a un acuerdo al respecto. Este método es esencial en la fase de formulación o diseño de una política pública o plan de actuación para revisar el marco lógico existente y de-terminar los objetivos y productos que deberán ser objeto de seguimiento. Permiten evaluar la pertinencia y coherencia entre problemas y objetivos (figura 23).

Construcción de un árbol de problemas. El nombre de esta técnica se debe a que >se trata de construir un esquema, a modo de árbol, que partiría del problema principal (“el tronco”) del que emanarían ramificaciones en las que se represen-tarían sus causas subyacentes.

Construcción de un árbol de objetivos. Su representación trata de mostrar >las acciones necesarias para abordar los problemas (y sus causas) recogidos previamente en el árbol de problemas. Se elabora invirtiendo los problemas en objetivos.

Análisis de los impactos•

Modelos top-down y bottom-up »Son modelos desarrollados en los años setenta y ochenta, y que actualmente con-tinúan siendo relevantes en el ámbito de los análisis de las políticas públicas. Cabe señalar, en este sentido, que la Comisión de la Unión Europea recomienda el empleo de un enfoque metodológico que combina el modelo top-down (“antes y después”) con el análisis bottom-up (“de abajo-arriba”). El modelo top-down se centra en la eva-luación del impacto total y el efecto neto de la intervención realizada, mientras que el modelo bottom-up analiza las relaciones causa-efecto de cada una de las medidas desarrolladas a través de información obtenida de los/as participantes y beneficia-rios/as de la política o plan.

Modelo top-down. Es una de las técnicas más empleadas para evaluar el impacto ba-sada en el método experimental. Consiste en el establecimiento de dos grupos, un grupo experimental (aquel al que se aplica la intervención) y un grupo de control (so-bre el que no se realiza intervención alguna o una intervención alternativa y distinta). La finalidad es medir el resultado neto de una política pública o plan de actuación, aislando sus efectos mediante la comparación de esos dos grupos. Las mediciones se realizan en distintos momentos: antes y después de su intervención o aplicación.

Su análisis abarca desde el proceso de toma de decisiones, la etapa de formulación de objetivos, hasta la consecución de metas y resultados. Los aspectos son estudia-dos de “arriba a abajo” comenzando por el comportamiento de los/as responsables y agentes gestores/as, seguido del logro de los objetivos en el tiempo, los factores que intervienen en los impactos y resultados, hasta la reformulación de una política o plan.

La principal limitación de este modelo es “su implícita y no cuestionada suposición de que los/as creadores/as de la política controlan los procesos organizacionales, políticos y tecnológicos que afectan a la implementación” (Elmore, 1979-1980).

Modelo bottom-up. Surge como alternativa y como una seria crítica al modelo anterior. Se le denomina, también, modelo inductivo porque trata de extraer conclusiones a partir del análisis del nivel más bajo del proceso de formulación e implantación de una política pública, haciendo especial hincapié en la comprensión de la organización para explicar los impactos y resultados alcanzados. Se trata de establecer, de “abajo a arriba”, la capacidad de cada nivel para contribuir o incidir en el comportamiento final de una política y los recursos necesarios para alcanzar los objetivos. Con ello, se toma en consideración la importancia que juegan durante todo el proceso los/as ejecutores de una política que están en la base de la organización.

62

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Modelo input-output »Wassili Leontief, al publicar en 1941 su obra The Structure of the American Economy (1919-1939), desarrolló e implantó lo que hoy conocemos como modelo o tabla in-put-output (TIO). La Tabla input-output es básicamente un instrumento estadístico-contable que permite cuantificar la interrelación de las actividades sectoriales, tanto de producción como de distribución, de una economía entre sí en un periodo deter-minado de tiempo.

Aplicado este modelo al ámbito de las políticas públicas, los outputs (las “salidas”) expresan los productos o impactos que genera una determinada política u organiza-ción pública, mientras que los inputs (las “entradas”) son los factores o recursos que se disponen para conseguir esos productos o impactos. Elaboraciones más complejas de este modelo recogen las interrelaciones que se producen entre la administración y el resto de proveedores, grupos de intereses, usuarios/as, etc., con los que ésta se relaciona y que constituyen tanto entradas como salidas al modelo.

Análisis shift-share »La técnica shift-share es un instrumento de análisis que alcanzó un gran auge en los años setenta a través de diversos estudios de carácter económico, sectorial y regional. Su principal objetivo es la posibilidad de cuantificar los cambios o sesgos geográficos en la actividad económica observada en un periodo de tiempo, aunque la aplicación se ha extendido a otras áreas en el análisis de políticas públicas.

En el ámbito de las administraciones públicas, esta técnica se ha empleado general-mente en el estudio del impacto de una política regional. Parte de la comparación de los resultados obtenidos en zonas donde se ha aplicado una determinada política y los resultados en zonas en las que no. Se trata de contrastar los valores alcanzados, según las variables consideradas, en las zonas asistidas y no asistidas, en períodos de política activa y en períodos de ausencia de medidas políticas.

Figura 24. Esquema básico de una TIO.

OUTPUTS

INPUTS

MATRIZ I: Consumos intermedios.Productos que han sido empleadosdurante el proceso productivo.

MATRIZ II: Demandas finales.Bienes y servicios cuyo destino es la demanda final.

MATRIZ III: Inputs primarios.Aportación de cada input para cadarama de actividad al proceso productivo.

Ramas deactividad

Ramas deactividad

MATRIZ IConsumos

intermedios

MATRIZ IIIInputs

primarios

MATRIZ IIDemandas

finales

Destinostotales

Recursostotales

63

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Análisis de la eficiencia•La eficiencia es capacidad para lograr un fin empleando los mejores medios posibles. Existen diversos métodos y técnicas para el estudio de la eficiencia de las políticas pú-blicas. Principalmente se basan en criterios economicistas. A continuación se destacan algunos de los mismos.

Análisis costo-beneficio (CBA) »Proporciona un formato (denominado también marco contable) para enumerar toda la serie de beneficios y costos resultantes de una política pública o plan de actuación, a fin de eliminar las actividades costosas que rinden pocos beneficios.

Este análisis puede realizarse durante la etapa de formulación o diseño de una políti-ca o plan, para prever sus futuros efectos y resultados, o bien, en la etapa final para comparar las mediciones finales reales de los costos y los beneficios con las propues-tas hechas en el diseño inicial.

Análisis coste-eficacia »En el marco de la evaluación, este análisis facilita la comparación, desde un punto de vista económico, de la eficacia de una política o plan respecto a otros, cuando su objetivo principal compartido puede reducirse a un solo resultado. La eficacia se va-lora en función de ese único resultado, a partir de la medición de indicadores de los resultados intencionales o logrados, y no en función del valor económico de dichos resultados. Como consecuencia del proceso de evaluación, se consigue identificar aquellas actuaciones que tienen un mejor resultado con un determinado coste.

Este método se adapta muy bien a la evaluación de actuaciones cuyos resultados pre-vistos se identifican de forma clara y cuyos costes directos e indirectos son fácilmente medibles. Sin embargo, no es recomendable su empleo cuando no puede expresarse

Figura 25. Análisis Costo-Beneficio (CBA).

Precio de equipos ymateriales

Mantenimiento deinstalaciones físicas

Coste de empleo depersonal cualificado

Coste de formacióndel personal

Coste de seguimiento y evaluación

Etc

COSTOS

Procedimientosmejorados que conducen a una reduccióndel costo global

Mejora del sistema de información

Mejora de la tomade decisiones

Incremento de lamotivación del personal

Etc

BENEFICIOS

64

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

el efecto intencional de una política o plan mediante un resultado concreto, o capaz de ser expresado con un valor cuantitativamente.

Este tipo de análisis puede emplearse ex ante, in itinere y ex post durante el proceso de seguimiento y evaluación.

Análisis de Frontera »El análisis de frontera resulta útil cuando, por ejemplo, quiere compararse el com-portamiento de distintas unidades o centros administrativos responsables de la eje-cución de una política pública o plan de actuación. Se trataría de tomar como refe-rentes a aquellas unidades consideradas como “las más eficientes” para comparar la eficiencia relativa de cada una de ellas, o bien, establecer una medida del nivel medio de eficiencia.

Es una técnica que usa el método del Análisis Envolvente de Datos (DEA)8. Dicho mé-todo se centra en el estudio de la eficiencia en relación con dos aspectos:

Por un lado, las unidades (o centros administrativos respecto a un conjunto) que >en función de los indicadores utilizados son 100% eficientes y;

Por otro lado, el grado de eficiencia alcanzado por el resto de unidades sometidas >al estudio.

De esta manera, se obtendría una clasificación de las unidades estudiadas en función de su grado de eficiencia.

La denominada “frontera de eficiencia” vendría determinada gráficamente por la línea formada por la unión de aquellas unidades 100% eficientes. A su vez, esta línea es a la que aspiran el resto de unidades que no son 100% eficientes, que se encontrarían dentro del área delimitada por dicha frontera.

8. El desarrollo del Data Envelopment Analisis (DEA) se ha atribuido comúnmente a Charnes, Cooper y Rhodes (1978). Está basado en la Metodología de Fronteras de Farell (1957).

Figura 26. Ejemplo de representación gráfica de la línea de frontera de la eficiencia.

Unidades más eficientes

Unidades menos eficientes

Recursos

Rendimiento

Línea de fronterade la eficiencia

65

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Análisis de la eficacia•La eficacia es el grado de consecución en los objetivos fijados mediante el empleo de los recursos disponibles. Existen diversos métodos y técnicas para el estudio de la eficacia en el ámbito de las políticas públicas. A continuación se destacan los siguientes.

Estudio de casos »Es la recopilación intensiva e interpretación detallada de información de una entidad individual, de una categoría o especie. La meta de esta técnica no consiste únicamen-te en conocer la entidad a la que se estudia, sino también conocer la categoría que representa.

Cuando se emplea esta técnica en el ámbito de la evaluación de las políticas públi-cas, el objetivo es extraer conclusiones aplicables o transferibles a otras políticas o planes a través de un estudio descriptivo previo de una serie de casos de la población “diana” y/o objeto de estudio. Estos casos normalmente están entresacados de la realidad para que, a partir de su estudio y análisis, los/as evaluadores/as puedan to-mar conciencia exacta y ajustada de la situación, y a posteriori identificar soluciones o alternativas eficaces.

Pueden distinguirse dos tipos de estudio de casos. El primero se centra en la elabo-ración de conclusiones a partir de la observación de un número limitado de casos. El segundo tipo trata de derivar a conclusiones específicas a partir de un solo caso, debido a su relevancia o importancia frente a otros.

También, se diferencian los siguientes usos:

Exploratorio: > orientado ha realizar una primera exploración en la materia o ámbito objeto de estudio, y que permita la formulación de preguntas de investigación o hipótesis más precisas.

Descriptivo: > dirigido a la elaboración de un estudio detallado de “lo que sucede” respecto al caso considerado.

Explicativo: > encaminado a la producción de interpretaciones respecto al hecho o caso estudiado.

Método experimental »El primer paso es la presentación de un problema, que por lo general se plantea en forma de pregunta. Esta es la base para la formulación de una hipótesis de investiga-ción. Para comprobar si se cumple o no la misma se realiza la comparación de dos grupos, que han de constituirse tras determinar, previamente, el tipo y número de sujetos o unidades que los habrán de componer:

Grupo experimental: > Grupo sometido al tratamiento experimental (por ejemplo, al que se la ha aplicado la política o plan).

Grupo de control: > Grupo sometido a un tratamiento normal o alternativo al experi-mental (sobre el que la política o plan no ha realizado intervención alguna).

Para aplicar el método experimental deben cumplirse dos condiciones. En primer lugar, ambos grupos han de ser representativos respecto a la población objetivo del estudio y, en segundo lugar, la probabilidad que tiene una unidad de análisis cualquie-ra (persona, unidad o centro administrativo, etc.) para formar parte de los dos grupos ha de ser la misma.

Con la comparación de estos dos grupos, se tratará de identificar relaciones entre aspectos del entorno y aspectos de la conducta. Estas relaciones implican que, si una característica ambiental se modifica, cierto tipo de conducta también varía. El aspecto del entorno que se estudia en el experimento recibe el nombre de variable independiente; el cambio que provoca se llama variable dependiente.

66

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Una vez realizada la prueba, los resultados obtenidos se someten a un estudio esta-dístico que permite refutar o apoyar la hipótesis.

9.3. Modelos de seguimiento y evaluación

Enfoque del Marco Lógico•El Enfoque del Marco Lógico (EML) es un método creado en la década de los setenta y ha sido tradicionalmente muy utilizado en el ámbito de la cooperación internacional y de la planificación y gestión de proyectos para el desarrollo (promovido por organiza-ciones como la Organización para la Cooperación y el Desarrollo Económico, OCDE). Es una herramienta analítica para la planificación de la gestión de proyectos orientados por objetivos, que puede emplearse durante la preparación, la ejecución y la evaluación de los mismos.

Aborda la planificación y gestión de todo el ciclo de un proyecto, en el que distingue cuatro fases fundamentales (identificación, diseño/formulación, ejecución y seguimiento, evaluación) y los aspectos concretos que han de estudiarse dentro de cada una de ellas.

La matriz de planificación del proyecto (MPP) es la herramienta más conocida de este modelo y se elabora durante la etapa de diseño. La MPP interrelaciona los siguientes elementos que atañen a la intervención: el objetivo global, el objetivo específico, los resul-tados, las actividades, los insumos, y los factores externos.

Figura 27. Etapas del enfoque del Marco Lógico (EML).

Viabilidad

Análisis de la participación

Análisis de problemas

Análisis de objetivos

Análisis de alternativas

Matriz de planificación (MPP)

Programación de actividades

Programación de recursos

Factores de viabilidad

Documento del proyectoPlan de ejecución

Realización de operaciones

Sistema de información

Informes de seguimiento

Impacto

Eficacia

Eficiencia

Pertinencia

IdentificaciónEjecución yseguimiento

Diseño yformulación

Evaluación

67

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

LÓGICA DE LA INTERVENCIÓN

INDICADORES OBJETIVAMENTE

VERIFICABLES

FUENTES DE VERIFICACIÓN

SUPUESTOS/ HIPÓTESIS/ FACTORES EXTERNOS

OBJETO GLOBAL

Indicadores de cumplimiento del objetivo global

F.E. que intervienen en el logro del objetivo global

OBJETO ESPECÍFICO

Indicadores de cumplimiento del objetivo específico

F.E. que intervienen en el logro del objetivo específico

RESULTADOS QUE SE HA DE GARANTIZAR

Indicadores de cumplimiento de resultados

F.E. que intervienen en el logro del objetivo inmediato

ACTIVIDADES A REALIZAR PARA

ALCANZAR RESULTADOS

Insumos (bienes y servicios) necesarios para realizar actividades

Coste de la intervención

F.E. que intervienen en la producción de resultados

CONDICIONES PREVIAS

1 Elementos centrales de la intervención que analiza el EML.

2 Resumen descriptivo.

3 Indicadores que miden o valoran el nivel de logro esperado por la intervención.

4 Fuentes de verificación a través de las que se pueden objetivizar los indicadores.

5 Supuestos o hipótesis que atienden a los factores externos que actúan como con-diciones necesarios para asegurar el desarrollo adecuado de la intervención.

Figura 28. Ejemplo de MPP según el Enfoque del Marco Lógico.

Modelo EFQM•En el ámbito de las administraciones públicas, el concepto “calidad” es un concepto amplio y transversal que no sólo afecta a los aspectos estrictamente relacionados con la producción de productos o con la prestación de servicios, sino que, también, atañe a la mejora continua de la administración y de sus relaciones tanto con la ciudadanía y los grupos de interés, como con el personal empleado y los/as profesionales.

El Modelo EFQM es un modelo procedente del ámbito de las organizaciones privadas de-sarrollado con la finalidad de mejorar su capacidad competitiva mediante la potenciación de la excelencia.

Ha sido desarrollado por la Fundación Europea para la Gestión de la Calidad, que es una organización sin ánimo de lucro y constituida por distintas organizaciones y empre-sas miembros que impulsan la Excelencia sostenida en Europa. Recientemente, dicho modelo se ha aplicado al ámbito de las administraciones públicas, obteniendo muy buenos resultados respecto a la mejora de la prestación de los servicios, e incrementan-do la satisfacción de los/as usuarios/as de los mismos, así como de la ciudadanía en

68

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

general. La Junta de Andalucía ha apostado por este modelo y ha elaborado un modelo adaptado de autoevaluación para mejorar la calidad del conjunto de sus órganos, orga-nismos y unidades9.

Según este modelo, la excelencia es la forma de conseguir prácticas sobresalientes en la gestión con logro de resultados, a través de la aplicación de ocho conceptos fundamenta-les: Orientación a Resultados, Liderazgo y Coherencia en los Objetivos, Gestión por Proce-sos y Hechos, Desarrollo e Implicación de las Personas, Proceso Continuo de Aprendizaje, Innovación y Mejora, Desarrollo de las Alianzas y Responsabilidad Social.

El Modelo EFQM de Excelencia se presenta como una herramienta o instrumento práctico que interpreta y aplica los ocho conceptos fundamentales de excelencia para ayudar a las organizaciones a analizar su sistema de gestión desde todos los puntos de vista. Dirige el análisis y por tanto la gestión hacia todos los grupos de Interés, haciendo hincapié en los resultados que se obtienen en cada uno de ellos como consecuencia de dicha gestión.

Así, el modelo plantea que la gestión debe realizarse apoyada en nueve criterios: cinco criterios agentes y cuatro criterios resultados, que reflejan dicha gestión.

Los criterios agentes: Liderazgo, Política y Estrategia, Personas, Alianzas y Recursos y Procesos, abordan qué hace la organización y cómo lo hace, aportando para ello las evidencias oportunas; mientras que los criterios resultados: Resultados en los Clientes, en las Personas, en la Sociedad y Resultados Clave, se encargan de medir qué resultados obtiene la organización como consecuencia de las acciones llevadas a cabo y la gestión desarrollada en todos los ámbitos de actuación.

Para emprender el camino hacia la excelencia, las organizaciones han de realizar una autoevaluación de su gestión respecto a cada uno de estos criterios. A partir de esta au-todiagnosis la organización obtiene un conocimiento pormenorizado del estado en el que se encuentra, lo que le permite identificar sus puntos fuertes y débiles, así como nuevas áreas de mejora.

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

9. Dicho modelo adaptado se conoce como “Modelo EFQM de Excelencia adaptado a la Junta de Andalucía”. Res-ponde y contempla un conjunto de pequeños cambios con respecto al Modelo EFQM de Excelencia en su versión para el Sector Público y las Organizaciones del Voluntariado original, representando y reflejando las singularidades y peculiaridades que caracterizan a la propia Junta de Andalucía.

Figura 29. Modelo EFQM.

Liderazgo Procesos

Personas


Alianzas yrecursos

Resultadosclaves

Resultadosen las

personas

Resultadosen los

clientes

Resultadosen la

sociedad

AGENTES FACILITADORES

INNOVACIÓN Y APRENDIZAJE

RESULTADOS

69

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Modelo SERVQUAL •Es un modelo orientado a mejorar las percepciones y las expectativas de los/as clientes o usuarios/as respecto a la calidad de los productos o servicios que produce una organización.

A su vez, este modelo parte del Modelo de las Deficiencias (PARUSARAMAN, ZEITHAML Y BERRY, 1988) en el que se define la calidad de servicio como una función de la discre-pancia entre las expectativas de los consumidores sobre el servicio que van a recibir y sus percepciones sobre el servicio efectivamente prestado por la empresa. La finalidad del modelo es disminuir o eliminar dicha discrepancia (gaps).

El modelo SERVQUAL define la calidad del servicio como la diferencia entre las percepcio-nes reales por parte de los/as clientes/usuarios del servicio y las expectativas que sobre éste se habían formado previamente. El constructo calidad de servicio está integrado por cinco dimensiones subyacentes:

La capacidad de respuesta: » Es la disposición y voluntad de los/as empleados/as para ayudar al/la usuario/a y proporcionar el servicio de forma rápida.

Los elementos tangibles: » Constituyen la apariencia de las instalaciones físicas, equi-pos, personal y materiales de comunicación.

La empatía: » Es la atención individualizada que se ofrece a los/as usuarios/as del ser-vicio o prestación.

APLICACIÓN DEL MODELO EFQM

Este modelo de análisis es empleado por el Observatorio para el seguimiento de las acciones de mejora impulsadas en la Administración andaluza. Para ello se recopilan y analizan los resultados obtenidos a partir de las autoevaluaciones EFQM realizadas por los distintos órganos, organismos y unidades de la Junta de Andalucía. Véase Informe de resultados de las acciones de mejora impulsadas en la Junta de Andalucía del Observatorio para la Mejora de los Servicios Públicos (2007).

Comunicaciónboca-oído

Valoraciónde la calidaddel servicio

Percepciones

Expectativas

Necesidadespersonales

Experienciaspasadas

Condicionantes en la formación de las percepciones y expectativas

Comunicacionesexternas DIMENSIONES

DE LA CALIDAD

Elementostangibles

Fiabilidad

Seguridad

Empatía

Capacidad derespuesta

Figura 30. Modelo SERVQUAL.

70

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

La fiabilidad: » Es la habilidad para ejecutar el servicio prometido de forma fiable y cuidadosa, mostrando interés por el cumplimiento de compromisos, por la transpa-rencia de los resultados y la resolución de incidencias.

La seguridad: » Es el conocimiento y la atención mostrados por los/as empleados/as y sus habilidades para inspirar credibilidad y confianza.

El modelo SERVQUAL se vale de la aplicación de un cuestionario cuyos ítems se centran en la evaluación de dicho concepto y en las dimensiones que lo integran.

Función del Despliegue de la Calidad (QFD) •Este modelo facilita la transformación de los deseos del/a usuario/a en especificaciones técnicas concretas que han de conformar el diseño del servicio. Esta metodología fue introducida por Yoji Akao (1966) en Japón y más tarde por Zairi y Youssef (1995) en los países occidentales.

A grandes rasgos, este modelo metodológico se basa en la consecución de tres pasos básicos:

Identificar las necesidades y expectativas de los/as clientes. »

Planificar las acciones y funciones necesarias para orientar el diseño y desarrollo del »servicio o producto a la satisfación de las necesidades y expectativas del cliente.

Trasladar esas necesidades y expectativas a requerimientos de la calidad del servicio »o producto.

Las actuaciones que ha de desarrollar la organización para garantizar que las especifica-ciones del producto o servicio cumplan o superen las expectativas de sus clientes/usua-rios se realiza a partir de la construcción de una matriz de correlación en la que se ponen en relación, en primer lugar, los atributos o aspectos que definen la calidad del servicio o producto (especificaciones o requerimientos) desde el enfoque de la persona cliente o usuaria y, en segundo lugar, las diferentes actuaciones, tareas, procesos y/o funciones desarrolladas por la organización que pueden contribuir a mejorar la producción del pro-ducto o la generación del servicio.

A partir de los resultados obtenidos con dicha matriz, que correlaciona las actuaciones que desarrolla la organización respecto a los atributos o aspectos de la calidad del servi-cio o producto, se extrae una priorización de las principales actuaciones que han de ser desarrolladas para aumentar la satisfacción del/de la cliente o usuario/a.

APLICACIÓN DEL MODELO SERVQUAL

Este modelo de análisis es empleado por el Observatorio para el seguimiento de los compromisos recogidos en las Cartas de Servicios de la Junta de Andalucía. Para ello, se ha adaptado dicho modelo considerando, además de las cinco dimensiones del mismo, las dimensiones de “comunicación” y “participación”. Con ello, se han in-corporado temáticas concretas de interés para el Observatorio. Véase Informe global de los resultados de los compromisos de las Cartas de Servicios del Observatorio para la Mejora de los Servicios Públicos (2007 y 2008).

APLICACIÓN DE LA QFD

Este modelo de análisis es empleado por el Observatorio para el estudio periódico de la mejora de los Servicios Públicos andaluces y de la valoración de la ciudadanía andaluza. Véase Informe global sobre la mejora de los Servicios Públicos andaluces del Observatorio para la Mejora de los Servicios Públicos (2007).

71

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Figura 31. Ejemplo de la matriz de datos y de la representación gráfica de la Función de Despliegue de la Calidad

Otras técnicas•El seguimiento y la evaluación, también, pueden abordar enfoques específicos para dar una mayor calidad a una política pública o plan de actuación. En este caso, las técnicas empleadas (cualquiera de las anteriormente expuestas dentro de este apartado) se orien-tarían a facilitar la incorporación de los mismos durante el proceso.

Técnicas para la integración de un enfoque participativo orientado a la mejora de »la calidad.Un enfoque participativo orientado a la mejora de la calidad supone que la ciudada-nía, los/as agentes implicados/as y los/as beneficiarios/as tienen distinciones y opi-niones que constituyen un aporte para elaborar criterios analíticos que permitan una mejor comprensión de una política pública o plan de actuación. Integrar un enfoque participativo es adecuado cuando con la actividad de seguimiento y evaluación se quiere hacer partícipes a todos/as los/as actores implicados reduciendo la distancia entre éstos/as y el/la evaluador/a. Con este tipo de técnicas se quiere dar un mayor protagonismo a todos/as ellos/as para, así, conociendo cuáles son sus necesidades y expectativas, poder ajustar las actuaciones desarrolladas a lo que éstos/as desean. Además de conseguir mayores niveles de satisfacción, también, mediante la partici-pación se alcanza mayor legitimidad respecto a una política o plan.

Para integrar las valoraciones, opiniones y expectativas de los/as agentes implicados, el personal de la organización, los/as clientes, los/as beneficiarios/as, y de la ciuda-danía, en general, al proceso de mejora continua de la política o plan es necesario,

Peso

Tarea1

Atributo1

Atributo2

Atributo3

Atributo4

Atributo5

Tarea2

Tarea3

Tarea4

Tarea5

Áreas de mejora del producto o servicio

Atributosque

definen lacalidad

delproductoo serviciosegún la

voz delcliente ousuario

Relación entre variables:

Relación fuerte

Relación media

Relación baja

Nivel de satisfaccióndel cliente o usuario

Tarea 2 Tarea 5 Tarea 4 Tarea 1 Tarea 3

Pesos ponderados según el nivel desatisfacción del cliente / usuario

Representación gráfica de tareas que han depriorizarse en la elaboración del producto o serviciopara aumentar la satisfacción del cliente / usuario

Peso absoluto

Peso relativo

Peso absoluto

Peso ponderado

72

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

en primer lugar, crear espacios de comunicación y aplicar técnicas de recogida de información (entrevistas en profundidad, encuestas, etc.). En este caso, las técni-cas empleadas promocionarían, durante el proceso de seguimiento y evaluación, la creación de espacios de participación para conocer las percepciones y expectati-vas existentes e intervenir, en consecuencia, para adecuar los logros de una política o plan respecto a las mismas. En segundo lugar, es preciso, definir un sistema de indicadores para el seguimiento y evaluación de la satisfacción de esas valoraciones y expectativas.

Antes de iniciar un proceso participativo habrán de determinarse varias cuestiones: cómo coordinar el proceso, quiénes van a participar, sobre qué se va a participar, cómo se va a participar, cuáles van a ser las consecuencias del proceso, etc.

Técnicas para integración del enfoque de género dirigido a la mejora de la calidad. »Cada vez más, se aprecia una voluntad sostenida por consolidar la llamada sensibili-dad de género en el ámbito de las administraciones públicas, que se traduce en reco-mendaciones concretas en torno al hecho de evaluar. En este sentido, cabe destacarse la labor que están desarrollando para integrar la perspectiva de género instituciones como la Organización Internacional del Trabajo (OIT) o la Comisión Europea, entre otras. En el caso de España, es a partir de los noventa cuando la inclusión de este enfoque comienza ha hacerse más visible en las políticas públicas y ha promoverse planes específicos de igualdad, aunque su aplicación es muy heterogénea distinguien-do entre Comunidades Autónomas.

En el ámbito de la Junta de Andalucía, está en vigor la Ley 12/2007, de 26 de no-viembre, para la promoción de la igualdad de género en Andalucía, que tiene como objetivo garantizar la vinculación de los poderes públicos en todos los ámbitos, en el cum-plimiento de la transversalidad como instrumento imprescindible para el ejercicio de las competencias autonómicas en clave de género.

El seguimiento y la evaluación desde un enfoque de género permiten analizar las dimensiones de la desigualdad por género en la definición de políticas públicas y pla-nes de actuación. Estas técnicas se emplean para evaluar el impacto diferencial entre hombres y mujeres en las políticas y planes públicos que se ponen en marcha desde las diferentes administraciones. De esta manera, pueden identificarse áreas defici-tarias o que han de mejorarse dentro de los mismos y contribuir así a la mejora de su calidad. A su vez, las políticas y planes definidos desde un enfoque de género, en tanto que son elementos fundamentales de intervención política, social, económica, cultural, etc., han de redundar en un mayor progreso y bienestar de la sociedad.

Para determinar si las actuaciones de un plan de actuación están en consonancia con el principio de Igualdad de Oportunidades existen diferentes técnicas y herramientas. Entre las mismas se destacan la evaluación ex ante de impacto en función del género o la metodología SMART.

Evaluación > ex ante de impacto en función del género. Se aplica en la fase de for-mulación o diseño de una política pública o plan de actuación. Por un lado, se centra en evaluar la implicación, la idoneidad y la importancia de las actuaciones definidas y los indicadores establecidos para incorporar la perspectiva de género y garantizar la igualdad de oportunidades entre mujeres y hombres. Y por otro lado, se basa en la valoración y previsión de los efectos que generarán las actua-ciones, para paliar o evitar situaciones de desigualdad. Por ello, han de valorarse los siguientes efectos futuros de la política o plan:

Los efectos sobre las estructuras y los sistemas. -

Los efectos sobre las personas y los diferentes ámbitos de intervención. -

Los efectos subjetivos en los/as destinatarios/as o beneficiarios/as finales. -

73

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Método SMART. Es un método simple para evaluar la relevancia del género en las >políticas y planes. Se aplica, por tanto, en la fase de generación de resultados, ya que la evaluación está encaminada a evidenciar y a visibilizar éstos desde la perspectiva de género y en un territorio o sector/ámbito determinado. Por ello, han de evaluarse los siguientes efectos e impactos de la política o plan:

Los efectos provocados en la propia organización responsable de la política o -plan, así como en otras organizaciones o entidades.

Los efectos producidos en las personas implicadas en las actuaciones de la -política o plan de actuación.

Los efectos de las actuaciones de sensibilización y difusión producidos en la -sociedad en su conjunto.

Los efectos en las estructuras y los sistemas. -

Los efectos generados en el estilo de trabajo creado a través de la política o -plan (en términos de corresponsabilidad pública y privada), y la viabilidad de su continuidad una vez han finalizado las actuaciones.

MEJORA DE LA CALIDAD DESDE LA TRANSVERSALIDAD DEL ENFOQUE DE GÉNERO

El Observatorio para la Mejora de los Servicios Públicos ha decidido incorporar la perspectiva y la dimensión del género, no sólo como un apunte pasajero en consonancia con una preocu-pación determinada, sino como un factor más de calidad parte de un proceso estratégico transversal.

En la base del modelo de seguimiento y evaluación de planes de actuación del Observa- torio está la integración del mainstreaming (transversalidad) de género, ya que su aplicación garantiza:

Una mayor eficacia de los análisis y las intervenciones realizados, como resultado de •valorar previamente los efectos tanto en mujeres como en hombres y evitar efectos negativos que incrementen las diferencias de género.Un mayor grado de satisfacción respecto a las actuaciones realizadas, resultado de •tener una mayor información sobre las necesidades y expectativas de las personas, desde una perspectiva de género.Un tratamiento justo y equitativo para ambos sexos.• Un mejor diseño o redefinición de los planes de actuación, dirigido al desarrollo de la •igualdad de oportunidades entre mujeres y hombres.

El Observatorio para valorar el impacto de los planes de actuación en relación con el principio de Igualdad de Oportunidades puede asesorar en el establecimiento de indicadores específi-cos de género en relación con el impacto en los ámbitos institucional, social, participativo o de la calidad de los servicios y prestaciones que, a su vez, pueden ser soportados y monitori-zados desde un cuadro de mandos habilitado en su portal.

También, elabora cuestionarios (“checklist”) que las diferentes unidades, servicios u organiza-ciones que lo requieran puedan autoevaluarse y situarse en la perspectiva de género y calidad asumida y hacer visible su nivel de compromiso y de adquisición de la misma.

74

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Técnicas para mejora de la calidad basadas en el análisis del impacto ambiental. »La responsabilidad que tienen las administraciones públicas respecto a los impactos que generan las actuaciones que éstas desarrollan sobre el medio ambiente, y la in-tegración de criterios de sostenibilidad y eficiencia, ha contribuido a la adopción de enfoques que incluyen la perspectiva medioambiental en el seguimiento y evaluación de las políticas públicas.

Al igual que los enfoques participativo y de género, la perspectiva medioambiental contribuye a mejorar la calidad de las políticas y planes, a partir de la consideración de criterios de sostenibilidad, rendimiento y eficacia. Se trata, tanto de hacer un empleo eficiente de los recursos empleados en términos de sostenibilidad ambiental, como de prever el impacto medioambiental que tendrán las actuaciones implantadas mediante la aplicación de una política o plan.

Figura 32. Ejemplo de Checklist elaborado por el Observatorio para evaluar la integración de la perspectiva de género en unidades.

¿Se tiene en cuenta en el marco de la LAJA en cuanto a género, donde en el Cap. I, art.3 se estable-cen los principios generales de organización y funcionamiento de la Administración de la JA, siendo la igualdad de oportunidades y de trato de hombres y mujeres uno de los principios?

Req

uisi

tos

¿Se han establecido compromisos de género propios en la gestión de calidad siguiendo los principios de la LAJA?

¿Se han definido objetivos específicos de igualdad?

¿Se ha definido un código de igualdad interno?

Sí NP*

¿Se cuenta con los recursos necesarios para incorporar la perspectiva de género?

Rec

urso

s ¿Se han programado acciones formativas específicas de género y calidad?

¿Se han establecido mecanismos y acciones de comunicación sobre género?

¿Se ha contado con la perspectiva de género en el establecimiento de mecanismos de participación?

¿Se han realizado acciones de sensibilización/promoción en materia de género?

¿Se han detectado elementos de mejora en cuanto a género y calidad?

Gru

pos

int

erés

/S

ervi

cio

pre

stad

o

¿Se ha diseñado un plan de mejora en clave de género?

¿Se han detectado Buenas prácticas de género y calidad transferibles?

¿Se ha necesitado orientación o información al respecto?

¿Se ha definido la igualdad como proceso de mejora?

¿Se han establecido sistemas de medición de resultados de igualdad?

Ser

vici

o pre

stad

o

¿Los indicadores para evaluar la calidad de los servicios Públicos están desagregados por sexo?

¿La gestión interna de calidad incluye la perspectiva de género?

¿Se han constituido Cartas de Servicios con perspectiva de género?

¿Se han realizado Autoevaluaciones con perspectiva de género?

¿Se han realizado acciones positivas en perspectiva de género?

¿Se ha efectuado un análisis de pertinencia de género?**

Gru

pos

de in

teré

s

¿Se ha efectuado un análisis de género sobre necesidades y expectativas de las personas destinata-rias del servicio?

¿Se ha identificado a los/as destinatarios/as de las acciones?

Sí NP*

Sí NP*

Sí NP*

Sí NP*

75

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

IX. A

NE

XO

II

TÉ

CN

ICA

S D

E A

NÁ

LISI

S E

MP

LEA

DA

S P

AR

A E

L SE

GU

IMIE

NT

O Y

LA

EV

ALU

AC

IÓN

Existen diversas técnicas para introducir esta perspectiva, entre las que se destaca la siguiente.

Evaluación de Impacto Ambiental (EIA) >Es un procedimiento, incluido de manera preceptiva en muchas legislaciones (en el ámbito de la Comunidad Autónoma de Andalucía se destaca, entre la normati-va aplicable en la materia, la Ley 7/2007, de 9 de julio, de Gestión Integrada de la Calidad Ambiental), dirigido a evaluar los posibles efectos de un plan o proyecto sobre la salud ambiental, la integridad de los ecosistemas y la calidad de los servicios ambientales.

Los elementos clave del EIA son:

El Estudio de Impacto Ambiental (EsIA): - Es un estudio técnico, objetivo, de ca-rácter pluri e interdisciplinario, en el que han de predecirse los impactos am-bientales que conllevará el plan o proyecto y que permite su viabilidad am-biental. Es, además, el documento base que ha de argumentar la declaración de impacto ambiental.

La Declaración de Impacto Ambiental (DIA): - Es la resolución de todo el proce-dimiento de evaluación que hacen los organismos o autoridades medioam-bientales competentes, tras un periodo previo de consulta pública en el que se expone el EsIA. Decide sobre la conveniencia o no de realizar el plan o proyecto, así como determina las condiciones y medidas que se deben tomar para proteger adecuadamente el medio ambiente.

El informe ambiental: - Es el documento que recoge la valoración del órgano ambiental competente respecto a las medidas propuestas para la protección del medio y de los recursos naturales, así como respecto a su adecuación con la normativa vigente en la materia.

La calificación ambiental: - Es el pronunciamiento emitido por el órgano político o administrativo competente que garantiza la adecuación de las medidas y actuaciones a la normativa en vigor.

En la figura siguiente se recogen las principales fases de la EIA.

Figura 33. Fases del procedimiento de tramitación de una Evaluación del Impacto Ambiental.

Consultas previas

Comunicación al órgano competente de la intención de realizar el proyecto

Informe del órgano competente sobre los criterios para redactar el EsIA

Consulta del órgano competente a organismos e instituciones sobre loscriterios para redactar el EsIA

Presentación del EsIA Presentación al órgano competente del EsIA incluyendo la identificación yvaloración de impactos

Información pública

Corrección de deficiencias Corrección de las posibles deficiencias del EsIA

Resolución de discrepancias Resolución de posibles discrepancias por la autoridad competente,dependiendo de la Administración que haya tramitado el expediente

Publicación de la DIA Publicación de la DIA donde proceda (BOE o Boletín Oficial de la ComunidadAutónoma o Boletín Oficial de la Provincia)

Emisión de la DIA

Periodo de consulta pública a entidades públicas o privadas y a particularesinteresados, para que aporten sus opiniones y presenten alegaciones

Formulación de la DIA elaborada por parte del órgano competente

X. ANEXO IIIGLOSARIO DE TÉRMINOS

MÁS IMPORTANTES

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

76

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

77

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Actores o agentes sociales

Aquellos individuos o grupos que ocupan una posición estratégica en el sistema de decisiones y que responden en el proceso de formación de políticas, por las funciones de articulación del campo cognitivo y del campo del poder. En tanto mediadores, son quienes definen los temas de debate y el marco intelectual en el cual se desarrollan las negociaciones, alianzas y conflictos que sustentan la toma de decisiones.

Análisis DAFOTipo de análisis empleado para identificar los factores relacionados con las debilidades, amenazas, fortalezas y oportunidades (DAFO) de una política pública o plan de actuación.

Análisis de políticas públicas

Área de conocimiento e investigación centrada en el estudio de las fases que componen el ciclo de formación y desarrollo de las políticas públicas.

Análisis de situación

Proceso para entender el estado, condición, tendencias y cuestiones principales que afectan a las personas, los ecosistemas y las instituciones en un determinado contexto geográfico a cualquier nivel (local, nacional, regional o internacional).

Aprendizaje

Reflexión sobre la experiencia para ver el modo de mejorar de manera efectiva una situación o las acciones futuras. Puede basarse en un ejercicio individual o de grupo. El conocimiento aprendido tiene un carácter acumulativo, sirviendo de base para otro ciclo de aprendizaje.

Árbol de objetivosRepresentación descriptiva que representa la secuencia encadenada de las relaciones medios-fines y que permite una clasificación según grado de importancia de los objetivos.

Árbol de problemasRepresentación descriptiva que representa la secuencia encadenada de las relaciones causa-efecto y que permite identificar las posibles soluciones a un problema.

Auditoría

Actividad objetiva e independiente basada en un examen o valoración que juzga e informa sobre la medida en que una circunstancia, un proceso o un desempeño se ajusta a criterios o normas, política y/o procedimientos preestablecidos.

Área de mejora Elementos susceptibles de ser mejorados dentro de una organización con respecto a una meta u objetivo de calidad.

AutoevaluaciónTipo de evaluación realizada por los/as responsables directos, o por quiénes realizan la gestión sobre el terreno, o participan en la ejecución de una política o plan de actuación.

Benchmarking

Proceso continuado y analítico para medir de forma sistemática las actividades, procesos, operaciones y prácticas de una organización frente a otras administraciones públicas o unidades reconocidas como líderes o excelentes.

Beneficiario/aIndividuo, grupo u organización que, en su propia opinión y sea o no destinatario del proyecto, se beneficia directa o indirectamente de una intervención determinada.

A continuación se recoge un listado de términos comúnmente empleados en materia de se-guimiento y evaluación de políticas públicas. Aunque pueden contemplar significados adicionales según otros contextos, sus definiciones sólo atañen al ámbito objeto de esta guía.

78

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Beneficio Valor o utilidad generada mediante la implantación de una política o plan de actuación.

Buenas prácticas

Prácticas, iniciativas o experiencias que han probado tener éxito en circunstancias determinadas. En el ámbito de las políticas públicas, constituyen un referente para conocer y aprender de qué funciona y qué no y para acumular y aplicar conocimientos sobre cómo y por qué son eficaces en diferentes situaciones y contextos.

Calidad Conjunto de propiedades y características de un servicio, producto o proceso, que satisfacen las necesidades establecidas del cliente.

Capacidad Aptitud o suficiencia de individuos y organizaciones de ejercer sus funciones de un modo eficaz, eficiente y sostenible.

Capacidad de respuestaEn relación con la calidad de los servicios públicos, es la disposición para prestar el servicio de forma rápida y adecuada a las necesidades y expectativas de los/as ciudadanos/as.

Ciclo de políticas públicas

“Proceso vital” de las políticas públicas que abarca desde el inicio de elaboración de una política hasta su terminación o reciclaje.

Cliente

Cualquiera que utilice o demande los servicios prestados por la organización. Pueden ser externos a la administración como la ciudadanía, o internos si los que usan o reciben esos servicios son otras unidades dentro de la propia administración.

Cuadro de mandos integral

Técnica que utiliza indicadores para evaluar una organización desde diferentes puntos de vista estratégicos. El modelo se basa fundamentalmente en la importancia de mantener un equilibrio entre metas a corto y largo plazo, estabilidad y cambio, así como en procesos internos y las relaciones con los interesados externos.

CualitativoQue no se resume en forma numérica. Los datos cualitativos describen aspectos relacionados con los conocimientos, las actitudes o los comportamientos.

CuantitativoQue se mide o es mensurable en términos de cantidad. Los datos cuantitativos tienen que ver con la cantidad, y se expresa en números o cantidades.

DatoInformación específica de carácter cuantitativo o cualitativo en relación con el estudio de hechos, acontecimientos, o comportamientos y que se ha recolectado.

DespliegueGrado en que las actividades que la organización realiza se llevan a efecto en todo su potencial y en todas las áreas que sean relevantes. Es una de las fases del esquema lógico REDER.

Efecto

Cambio previsto o imprevisto que resulta directa o indirectamente de una acción o intervención.

- Directo: Resultado obtenido a nivel de propósito en la jerarquía de objetivos.

- Indirecto: Cambio no planeado que se ha producido de resultas de una intervención.

79

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Eficacia (o efectividad)

En el ámbito de las políticas públicas, capacidad de lograr el efecto que se desea o se espera a partir de una acción o intervención realizada. Dichos efectos suelen ser los resultados planeados de la política o plan de actuación, es decir, objetivos, propósitos y productos.

Eficiencia Grado óptimo en que los insumos (fondos, servicios técnicos, tiempo, etc.) se transforman en productos.

EFQM European Foundation for Quality Management (Fundación Europea para la Calidad en la Gestión).

Elementos tangibles

En relación con la calidad de los servicios públicos, son todos aquellos recursos humanos y materiales (personal, equipos e instalaciones), así como otros elementos de soporte basados en el uso de nuevas tecnologías, necesarios para que el servicio pueda ser prestado de manera correcta.

Empatía En relación con la calidad de los servicios públicos, es la capacidad de ofrecer una atención individualizada y de ajustar el servicio a las necesidades y expectativas de los/as usuarios/as.

Encuesta

Técnica de investigación social basada en el análisis realizado a partir de una recolección sistemática de datos de una población determinada, normalmente a través de entrevistas o cuestionarios administrados a una muestra representativa de la población.

Encuestas online Tipo de encuesta aplicada a través de Internet.

Enfoque

Planteamiento específico que guía el avance de la política y estrategia de la organización o del plan de actuación. Metodología que establece una relación lógica entre los elementos principales de su diseño y ayuda a asegurar que la intervención tenga probabilidades de lograr resultados medibles.

EvaluabilidadMedida en que una actividad o proyecto puede evaluarse de manera fidedigna y verosímil. Grado en que la propia política o plan de actuación puede ser evaluado.

Evaluación

Examen sistemático y lo más objetivo posible que tiene por finalidad responder a preguntas específicas en relación con la eficiencia, eficacia, impacto, sostenibilidad y pertinencia de los objetivos de políticas y planes. Arroja una información verosímil y útil para apoyar la toma de decisiones por parte de los/as responsables o autoridades competentes frente a determinadas cuestiones.

Evaluación ex ante

Evaluación de los criterios establecidos para la adopción de decisiones, la viabilidad y la aceptabilidad de una política o plan de actuación, antes de contraer el compromiso de financiarlo, de su puesta en marcha y ejecución.

Evaluación ex anteEvaluación de los criterios establecidos para la adopción de decisiones, la viabilidad y la aceptabilidad de una política o plan de actuación, una vez se ha ejecutado y son visibles sus resultados.

Evaluación externa Evaluación realizada por personas que no participan en la formulación, implementación y/o gestión del objeto de la evaluación.

80

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Evaluación formativaEvaluación realizada durante la ejecución para mejorar el rendimiento y que está destinada arrojar mayor información a los/as gestores/as y a los/as que prestan asistencia directa para mejorar su actuación.

Evaluación in itinere o intermedia

Evaluación del proyecto efectuada durante la fase de implementación de la política o plan.

Evidencia

Información o datos que indican valores cuantitativos y cualitativos en relación con procesos, efectos e impactos, obtenidos a partir de diversas fuentes de información y resultado del proceso de seguimiento y evaluación de una determinada política o plan de actuación.

Excelencia

Modo sobresaliente de gestionar la organización y obtener resultados, mediante la aplicación de ocho conceptos fundamentales de la Excelencia: orientación al cliente, liderazgo y coherencia en los objetivos, gestión por procesos y hechos, desarrollo e implicación de las personas, aprendizaje, innovación y mejora continuos, desarrollo de alianzas, responsabilidad social de la organización, y orientación a resultados.

Expectativas ciudadanas

Aquello que los/as ciudadanos/as esperan y sugieren en relación con la prestación de los servicios públicos y con la administración electrónica.

Fiabilidad

Coherencia o carácter fidedigno de los datos y los juicios de una evaluación, en relación con la calidad de los instrumentos, procedimientos y análisis utilizados para recoger e interpretar los datos de la evaluación.

En relación con la calidad de los servicios públicos, es la habilidad para ejecutar el servicio prometido de forma fiable, cuidadosa y generando confianza.

Foros online

Son espacios habilitados virtualmente a través de Internet para que la ciudadanía, en general, los/as profesionales, los/as técnicos/as de la administración y los/as agentes interesados/as en el proceso de modernización y de mejora de los Servicios Públicos andaluces puedan expresar, intercambiar y compartir sus opiniones, reflexiones y experiencias.

Gestión de la calidad

Actividades coordinadas para dirigir y controlar una organización en lo relativo a la calidad. Generalmente incluye el establecimiento de la política y los objetivos de la calidad, la planificación, el control, el aseguramiento y la mejora de la calidad.

Gestión del conocimiento

Forma mediante la cual, una organización desarrolla su capacidad de hacer explícito y accesible todo el conocimiento (capital intelectual) que posee. En definitiva, cómo convertir el conocimiento “individual” en conocimiento “colectivo” o estructural.

Gestión por procesos

Consiste en la identificación y gestión de los procesos necesarios para llevar a efecto la política, estrategia, planes y objetivos de una organización, incluyendo, en esta gestión, las siguientes actividades: asignación de propietarios de los procesos, implantación de sistemas normalizados para la gestión de los procesos (sistemas de gestión de la calidad, sistemas de gestión ambiental, etc.), establecimiento de objetivos y sistemas de medición para la evaluación de los resultados obtenidos, así como el análisis y mejora de los mismos.

Grupo de controlGrupo sobre el que no se realiza intervención alguna o una intervención alternativa y distinta, normalmente, constituido para ser comparado respecto a un grupo experimental.

81

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Grupo experimental Grupo sometido a un tratamiento experimental o se le aplica una determinada intervención.

Grupo de interés

Grupos organizados, cuyos individuos por si mimos e individualmente no alcanzarían el grado de representatividad necesario, para conseguir intereses específicos en el escenario político, social, económico, etc., y que ejercen presión sobre otros.

Grupos de análisis

Son espacios de debate restringidos a la participación de los/as responsables políticos, gestores/as del plan, expertos/as y/o los/as técnicos/as implicados de la administración, creados por el Observatorio y habilitados virtualmente a través del portal Mejora los Servicios Públicos. Se basan en la aplicación de la técnica DELPHI. Contribuyen a mejorar la participación de todos/as ellos/as durante los procesos de toma de decisiones y de detección de necesidades.

Hipótesis Suposición que se establece provisionalmente como base de una investigación empírica que puede confirmar o negar la validez de aquella.

Impacto Efecto más indirecto que se produce, generalmente a medio o largo plazo, como consecuencia de la ejecución de una acción o intervención.

Indicador

Unidad de información cuantitativa o cualitativa medida en el tiempo que ofrece una base simple y fiable para evaluar la realidad objeto de estudio (los logros, los cambios o el desempeño, etc., de una determinada política o plan de actuación).

Insumos o inputs Bienes o recursos empleados en la producción de otro bien.

Intervención La aplicación de cualquier planificación (política, plan, programa, actuación, etc.) diseñada para producir un cambio en la población objetivo.

Investigación-acción

Término empleado para designar una forma de investigación para enlazar el enfoque experimental de la ciencia social con programas de acción social que respondieran a problemas sociales claves. Mediante la investigación–acción se pretende tratar de forma simultánea cambios teóricos y cambios sociales.

Mejora continua

Fase final dentro del ciclo de un plan de actuación, basada en el aseguramiento de los resultados en términos de calidad y productividad, deducción de costos y tiempos de respuesta, mejorando los índices de satisfacción de los/as clientes y/o usuarios/as mediante un proceso vivo e inteligente de mejora de la organización que se consigue a través del aprendizaje y el mantenimiento de los procesos y sistemas. Implica tanto la implantación de un sistema, como también el aprendizaje continuo de la organización, el seguimiento de una filosofía de gestión, y la participación activa de todo el personal.

MetaObjetivo programático o sectorial de nivel superior al que una intervención determinada está destinada a contribuir. Se trata, pues, de una declaración de intenciones.

Método científicoModo estructurado y ordenado que se sigue en las ciencias para obtener un resultado, descubrir la verdad, sistematizar los conocimientos y enseñarlos.

82

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Metodología Conjunto de métodos que se siguen en una investigación científica o en una exposición doctrinal.

Modelo Esquema teórico de un sistema o de una realidad compleja que se elabora para facilitar su comprensión y el estudio de su comportamiento.

Modelo EFQM

Marco de trabajo que no es obligatorio, dirigido a enfocar a las organizaciones a la Excelencia. Los resultados excelentes de una organización (Criterios Resultados) se consiguen mediante un Liderazgo que dirija e impulse la Política y la Estrategia, el cual se hará posible a través de las Personas, las Alianzas y Recursos y la implantación de los Procesos adecuados (Criterios Agentes). Las organizaciones pueden autoevaluarse conforme al modelo para detectar oportunidades de mejora.

Modelo SERVQUAL

Es un modelo orientado a mejorar las percepciones y las expectativas de los/as clientes o usuarios/as respecto a la calidad de los productos o servicios que produce una organización. Se basa en la aplicación de un cuestionario cuyos ítems se centran en la evaluación de la calidad y de las dimensiones que lo integran: capacidad de respuesta, elementos tangibles, empatía, fiabilidad, seguridad.

Muestra Selección de una parte representativa de la población para determinar parámetros o características de toda la población.

Necesidades de la ciudadanía

Requerimientos de los/as ciudadanos/as que se deben satisfacer con las características de un producto, un bien y/o un servicio ofrecido.

Objetivo

Declaración concreta en que se detallan los logros o efectos deseados de una política o plan de actuación a diferentes niveles (de corto a largo plazo). Está ligado a la estrategia de la organización. Propósito al que se asocian acciones y responsables para su logro, así como indicadores que midan su grado de cumplimiento.

Outputs Productos o impactos que resultan de la combinación de los diversos factores o inputs de producción.

ParticipaciónProceso (o procesos) por el que un individuo (o grupo) participa en la adopción de una decisión concreta o en la realización de una acción, y sobre los que el individuo o el grupo pueden ejercer un control específico.

PercepciónCaptación realizada a través de los sentidos y basada en una impresión material. Da fundamento a las opiniones de un individuo o grupo de personas.

PertinenciaGrado en que los objetivos de una política o plan de actuación son o siguen siendo válidos y adecuados según lo planificado originariamente o según modificaciones posteriores.

Plan de actuación

Plan que se encuadra dentro de las estrategias globales de la organización y que supone una respuesta concreta y adicional para intervenir sobre un determinado problema o ámbito, y para el cuál se ha asignado una distribución de recursos y planificado la ejecución de una serie de actuaciones de manera escalonada en el tiempo. Contempla una descripciones de las acciones a acometer y de los recursos a emplear, o la exposición del estado de cosas en un área de gestión en un horizonte temporal determinado.

83

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Planificación estratégica

Amplia descripción de las actividades que normalmente se llevarían a cabo en el contexto de la elaboración de una política o plan de actuación, desde el comienzo hasta el final, y de las etapas que se vayan cubriendo a lo largo del camino, como los acuerdos de ejecución, registro, etc.

Población objetivoGrupo específico sobre el que se desea intervenir con la aplicación de la política o plan de actuación. El beneficio o los impactos generados sobre el mismo permite evaluar la pertinencia de la política o plan.

Política pública

Proceso en el que intervienen distintos actores, que se desenvuelve por etapas y que es guiado por un conjunto de objetivos, decisiones y acciones planificados con la finalidad de solucionar un determinado problema en un momento concreto.

Describe los marcos de referencia en los que debe actuar la organización. Apoya la consecución de su estrategia.

Principio de Igualdad de Oportunidades

Principio que hace referencia a la necesidad de garantizar el acceso de los miembros de una sociedad, mujeres y hombres, a los bienes que dentro de la misma se generan: económicos, materiales y no materiales, como la educación y otros bienes culturales. Se trata, por tanto, de asegurar el acceso y la participación en las diferentes esferas (económica, política, participación social, de toma de decisiones) y actividades (educación, formación, empleo) sobre bases de igualdad.

ProcesoConjunto de actividades sistemáticas, repetitivas e interrelacionadas que convierten entradas en salidas que generan valor añadido para la ciudadanía, los/as clientes y otros agentes implicados.

Puntos fuertesElementos de la gestión o de los resultados de la organización que pueden considerarse que están en la línea con los conceptos de excelencia y pueden ser de referencia para otras áreas u organizaciones.

QFD

Quality Function Deployment (Despliegue de la Función de Calidad). Modelo metodológico que pretende asegurar que las expectativas de los/as clientes y/o usuarios/as se convierten en requerimientos del producto o servicio durante su fase de diseño.

RecursosMedios empleados (tiempo, personal, fondos, equipos, materiales, etc.) o que se disponen para lograr los objetivos y resultados de una determinada política o un plan de actuación.

Redefinición

Hecho de volver a definir los objetivos, metas, etc., que configuran el diseño de una política o plan de actuación tras integrar los conocimientos aprendidos, durante el proceso de seguimiento y evaluación, a un nuevo ciclo de la política o plan.

REDER Resultados, Enfoque, Despliegue, Evaluación y Revisión. Es el esquema utilizado para evaluar o autoevaluar una organización (unidad).

Rendición de cuentasObligación de justificar, en términos de coherencia y pertinencia, la utilización de recursos, las decisiones y los resultados del ejercicio de facultades y el cumplimiento de funciones.

Resultado Producto, efecto o impacto mensurable (previsto o imprevisto, positivo o negativo) de una intervención.

84

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

RetroalimentaciónProceso en el que la información o el conocimiento adquirido, a partir de las evidencias obtenidas durante el seguimiento y la evaluación, se emplean para mejorar un nuevo ciclo de la política o plan.

Revisión Evaluación del desempeño de una determinada política o plan de actuación, periódica o puntualmente.

SeguimientoRecolección y análisis continuo de información para contribuir a la adopción oportuna de decisiones, garantizar la responsabilización y sentar las bases de la evaluación y el aprendizaje.

Seguimiento y evaluación

Combinación del seguimiento y la evaluación que proporciona los conocimientos necesarios para una gestión efectiva de las políticas o planes de actuación, la preparación de informes y la responsabilización.

SeguridadEn relación con la calidad de los servicios públicos, es la manera en que se muestra el conocimiento del servicio prestado y la cortesía de los/as empleados/as.

Sistema de calidad Estructura organizativa, procedimientos, procesos y recursos necesarios para implantar la gestión de calidad.

Sistema de gestiónEsquema general de procesos y procedimientos que se emplea para garantizar que la organización realiza todas las tareas necesarias para alcanzar sus objetivos.

Sistema de indicadoresConjunto de indicadores que se interrelacionan entre sí y que permiten evaluar la evolución de un proceso o de una actividad en base a parámetros previamente establecidos.

Técnica Conjunto de procedimientos y recursos de los que se sirve una ciencia.

Transparencia y rendición de cuentas

En el ámbito de las administraciones públicas, son conceptos que van más allá de lo meramente económico o del estricto cumplimiento de la legalidad y que afectan a la totalidad de las áreas de gestión y funcionamiento de este tipo de organizaciones. Se trata de legitimar la propia organización dando información y explicando a la ciudadanía sus compromisos y misión, las actuaciones y actividades realizadas, el impacto generado con las mismas, y el modo en cómo se contribuye a mejorar la sociedad.

Usuario/aEn relación con los servicios públicos, hace referencia a la persona que utiliza dichos servicios. Es uno de los tipos de clientes que tiene la administración pública.

ValidaciónProceso de verificación para asegurar que un determinado método y los datos con él obtenidos son confirmados por los obtenidos con otro método.

Validez Grado de fiabilidad y precisión con que una medida o prueba miden un objeto dado.

85

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

X. A

NE

XO

III

GLO

SAR

IO D

E T

ÉR

MIN

OS

MÁ

S IM

PO

RT

AN

TE

S

Valor añadido

Es el aumento de riqueza generada por la actividad de una organización en un período considerado, y que se mide por la diferencia entre el valor de la producción de bienes y servicios y el valor de compra de las adquisiciones exteriores, siendo posteriormente distribuida a los/as empleados/as, prestamistas, accionistas, al Estado y a la autofinanciación de la entidad.

XI. ANEXO IVLISTADO DE FIGURAS Y CUADROS

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

86

XI.

AN

EX

O IV

LI

STA

DO

DE

FIG

UR

AS

Y C

UA

DR

OS

87

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

XI.

AN

EX

O IV

LI

STA

DO

DE

FIG

UR

AS

Y C

UA

DR

OS

11.1. Listado de figuras

Figura 1 - página 10 Criterios del Modelo EFQM.

Figura 2 - página 11Proceso de mejora continua basado en el seguimiento y evaluación de los Criterios del Modelo EFQM: la Política y la estrategia y los Resultados.

Figura 3 - página 12Esquema lógico REDER.

Figura 4 - página 19Desarrollo de los elementos del esquema REDER: Evaluación y Revisión.

Figura 5 - página 19La evaluación y la revisión a lo largo del desarrollo de un plan de actuación.

Figura 6 - página 21Ciclo vital de las políticas públicas.

Figura 7 - página 22Gestión continua de las expectativas y las necesidades durante el desarrollo de un plan de actuación.

Figura 8 - página 25Roles de la administración y tipos de relación.

Figura 9 - página 28Momentos de apoyo y soporte del Observatorio para el seguimiento y evaluación de políticas y planes de actuación.

Figura 10 - página 29Ejemplo de invitación a un cuestionario online del Observatorio.

Figura 11 - página 30Vistas del portal Mejora los Servicios Públicos.

Figura 12 - página 30Vista de un cuadro de mandos publicado en el Observatorio.

Figura 13 - página 32Vista del Informe de resultados de las acciones de mejora impulsadas en la Junta de Andalucía del Observatorio.

Figura 14 - página 32Vista del Análisis de fuentes de información del Banco de Expectativas del Observatorio.

Figura 15 - página 33Vista del Informe global de resultados de los compromisos de las Cartas de Servicios del Observatorio.

Figura 16 - página 33Vista del Informe global sobre la mejora de los Servicios Públicos andaluces del Observatorio. Figura 17 - página 35Vista del espacio de “Documentación” dentro del portal del Observatorio.

Figura 18 - página 36Vista del espacio de “Novedades” dentro del portal del Observatorio del Mejora.

88

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

XI.

AN

EX

O IV

LI

STA

DO

DE

FIG

UR

AS

Y C

UA

DR

OS

Figura 19 - página 45Proceso de operativización de los cuadros de mandos del Observatorio.

Figura 20 - página 45Visualización de distintos niveles de cumplimiento respecto a objetivos dentro de un cuadro de mandos del Observatorio.

Figura 21 - página 46Ejemplo: Estructuración del cuadro de mandos para el seguimiento de la Estrategia para la Modernización de los Servicios Públicos.

Figura 22 - página 58Clasificación de tipos de preguntas incluidas en un cuestionario.

Figura 23 - página 62Ejemplos de estructura de un árbol de problemas y un árbol de objetivos.

Figura 24 - página 64Esquema básico de una TIO.

Figura 25 - página 65Análisis Costo-Beneficio (CBA).

Figura 26 - página 66Ejemplo de representación gráfica de la línea de frontera de la eficiencia.

Figura 27 - página 68Etapas del enfoque del Marco Lógico (EML).

Figura 28 - página 69Ejemplo de MPP según el Enfoque del Marco Lógico.

Figura 29 - página 70Modelo EFQM.

Figura 30 - página 71Modelo SERVQUAL.

Figura 31 - página 73Ejemplo de la matriz de datos y de la representación gráfica de la Función de Despliegue de la Calidad.

Figura 32 - página 76Ejemplo de Checklist elaborado por el Observatorio para evaluar la integración de la perspectiva de género en unidades.

Figura 33 - página 77Fases del procedimiento de tramitación de una Evaluación del Impacto Ambiental.

11.2. Listado de cuadros

Cuadro 1 - páginas 16/17Resumen de etapas, tareas y pasos metodológicos para el seguimiento y la evaluación de planes de actuación.

Cuadro 2 - página 21Características del seguimiento y la evaluación de políticas públicas y planes de actuación.

89

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

XI.

AN

EX

O IV

LI

STA

DO

DE

FIG

UR

AS

Y C

UA

DR

OS

Cuadro 3 - página 23¿Qué aportan el seguimiento y la evaluación a mi plan de actuación y al proceso de mejora continua de los servicios públicos?

Cuadro 4 - página 29Apoyo y soporte del Observatorio en la recogida de la información.

Cuadro 5 - página 31Apoyo y soporte del Observatorio en el análisis de la información.

Cuadro 6 - página 34Apoyo y soporte del Observatorio en la elaboración de informes de resultados.

Cuadro 7 - página 35Apoyo y soporte del Observatorio en la difusión de los resultados.

Cuadro 8 - página 37Apoyo y soporte del Observatorio en la detección de nuevas necesidades de las unidades.

Cuadro 9 - página 38Apoyo y soporte del Observatorio en la redefinición de planes de actuación.

Cuadro 10 - página 40Apoyo y soporte del Observatorio en la monitorización de planes de actuación.

Cuadro 11 - página 42Mecanismos y herramientas para la evaluación de planes de actuación del Observatorio.

Cuadro 12 - página 49Tipos de evaluación.

Cuadro 13 - página 50Tipos de evaluación según quien evalúa.

Cuadro 14 - página 51Tipos de evaluación según su función.

Cuadro 15 - página 53Tipos de evaluación según su contenido.

Cuadro 16 - página 54Tipos de evaluación según la fase o el momento en el que se plantea.

Cuadro 17 - página 57Principales métodos y técnicas para el seguimiento y la evaluación.

XII. BIBLIOGRAFÍA

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

90

XII

. BIB

LIO

GR

AFÍ

A

91

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

XII

. BIB

LIO

GR

AFÍ

A

ALVIRA, F.(1991): • Metodología de la evaluación de programas. Madrid: Centro de Investiga-ciones Sociológicas (CIS).

ANGULO J. F. (1988):”Evaluación de programas sociales. De la eficacia de la democracia”. •En Revista de Educación. Nº 286, pp 193-208. Madrid.

BALLART, X. (1992): • ¿Cómo evaluar programas y servicios públicos? Aproximación sistemáti-ca y estudios de caso. Madrid: INAP. Ministerio para las Administraciones Públicas.

BOUDON, R., LAZARSFELD, P.F. (1965): Metodología de las ciencias socials. Barcelona: •LKaia, 1973.

CAMACHO, H., CÁMARA, L., CASANTE, R., y SAINZ, H. (2001): • El Enfoque del marco lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo. Ma-drid: Fundación CIDEAL y Acciones de Desarrollo y Cooperación.

CASAS, F. (1989). • Técnicas de investigación social: los indicadores sociales y psicosociales (Teoría y Práctica). Barcelona: PPU.

COMAS, D. (2008). Manual de evaluación para políticas, planes, programas y actividades •de juventud. INJUVE.

COMISIÓN EUROPEA (2000): • Good Practice Guidelines for the Management of the Evaluation Function. Working Group on Guidelines. Network of Evaluators of the European Commis-sion. http://www.oecd.org/puma/mgmtres/pac/index.htm

CONSEJERÍA DE PRESIDENCIA Y ADMINISTRACIÓN TERRITORIAL (2000): • Calidad en la Administración Autonómica. Cinco experiencias en Castilla y León, Libro 1. Dirección General de Calidad de los Servicios. Junta de Castilla y León.

CONSEJERÍA DE JUSTICIA Y ADMINISTRACIÓN PÚBLICA (2004). • Modelo EFQM de Exce-lencia en la Junta de Andalucía. Versión 0.2. Junta de Andalucía.

DÍAZ DE RADA, V. • “Utilización de nuevas tecnologías para el proceso de “recogida de datos” en la investigación social mediante encuesta. REIS Nº 91. Notas de Investigación.

DÍEZ NICOLÁS, J. “• Encuestas de opinión y decisión política”. REIS Nº 99. Debate.

DOSAL, P. (• Coord.) (2003): ¿Cómo evaluar las políticas públicas desde la perspectiva de gén-ero?. Bilbao: Diputación Foral de Bizkaia. Gabinete del Diputado General.

ELMORE, R. (1979-1980): • “Backward Mapping: Implementation Research and Policy Deci-sion” en Political Science Quarterly, vol. 94, núm. 4.

GOMÀ, R. Y J. SUBIRATS (coords.) (1998): • Políticas Públicas en España. Barcelona: Ariel.

GRANADOS VAQUERO, E. (1999). • La política Pública de Igualdad entre los Géneros en la Co-munidad Autónoma de Andalucía (1989-1998). Granada: Universidad de Granada.

LANDY MK, LEVIN MA. (1995):• The new politics of public policy. Baltimore: Johns Hopkins University Press.

LORENZO, SUSANA, MIRA, J., OLARTEA, M., GUERRERO, J. y MOYANO, S. (2004): • Análisis matricial de la voz del cliente: QFD aplicado a la gestión sanitaria. Publicado en Gac Sanit 2004;18(6):464-71.

MANHEIM, J. B. y R. C. RICH (1990): “ Análisis de políticas y evaluación de programas”, •en Análisis político empírico. Métodos de investigación en ciencia política. Madrid. Alianza Editorial.

92

GU

ÍA D

E S

EG

UIM

IEN

TO

Y

EV

ALU

AC

IÓN

D

E P

LAN

ES

DE

AC

TU

AC

IÓN

D

E L

OS

SER

VIC

IOS

PÚ

BLI

CO

S

XII

. BIB

LIO

GR

AFÍ

A

METCALFE, L. (1998): • Accountability and Effectiveness. Designing the Rules of the Account-ing Game. Ponencia para la Conferencia del Instituto Europeo de Estudios Avanzados en Management “Accounting for the New Public Management”. Venecia.

OECD (2001): • Working Party on Aid Evaluation, Glossary of Terms in Evaluation and Results-Based Management, (Glosario de términos de evaluación y gestión basada en resultados). http://www.OECD.org/CAD/html/glossary.htm

OSUNA, J.L. y MÁRQUEZ, C. (Coord.) (2000): • Guía para la evaluación de políticas públicas. Sevilla: IDR.

OSUNA, L. y MARQUEZ, C. (2000): • Guía para la evaluación de políticas públicas. Sevilla: Instituto de Desarrollo Regional (IDR).

PNUD (2002): • Manual de seguimiento y evolución de resultados del Programa de las Naciones Unidas para el Desarrollo. Nueva Cork: Oficina de Evaluación del PNUD.

PNUD. (1997): • Monitoreo y evaluación orientados a la obtención de resultados: Manual para los administradores de programas. Oficina de Evaluación y Planificación Estratégica del PNUD.

SORLI M., RUIZ J. (1994): QFD. • Una Herramienta de Futuro. Bilbao: LABEIN Centro de In-vestigación Tecnológica.

SUBIRATS J, GOMÀ R. (1998): • Políticas públicas en España. Redes de actores y niveles de gobierno. Barcelona: Ariel.

SUBIRATS, J. (1989): • Análisis de políticas públicas y eficacia de la Administración. Madrid: Instituto Nacional de Administración Pública (INAP). Colección: Estudios. Ministerio para las Administraciones Públicas.

TAMAYO SAEZ, M., (1997) “ El análisis de las políticas públicas” en Baños Rafael y Car-•rillo, Ernesto ( comp.) La nueva administración pública. Madrid: Alianza Universidad.

UNICEF (2008), • Bridging the gap. The role of Monitoring and Evaluation in evidence-based policy making (El papel de la Evaluación y Seguimiento en la formulación de políticas públicas).

UNIDAD DE IGUALDAD Y GÉNERO (2007): • Guía práctica sobre la Igualdad como factor de calidad (Mód. 8). Colección de la Unidad de Igualdad y Género. Instituto Andaluz de la Mujer.

VEDUNG, E. (1997): • Evaluación de Políticas Públicas y Programas. Madrid: Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales.

VILLORIA, M. Y E. DEL PINO (2000). “La evaluación del rendimiento”, en • Manual de gestión de recursos humanos en las administraciones públicas, Madrid: Tecnos, 326-359.

GUÍA DE SEGUIMIENTOY EVALUACIÓN

DE PLANES DE ACTUACIÓNDE LOS SERVICIOS PÚBLICOS


GUÍA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE … · 36 37. 4 ÍNDICE VII. MECANISMOS Y...

Documents

Transcript of GUÍA DE SEGUIMIENTO Y EVALUACIÓN DE PLANES DE … · 36 37. 4 ÍNDICE VII. MECANISMOS Y...