Dr. Rodolfo S. Reyes Pairol (MsC) rodolfo.reyes@infomed.sld.cu

CPPES-Ciudad Habana

1- Identificar los principales antecedentes históricos del surgimiento de la evaluación y su marco conceptual.

2- Enunciar los elementos comunes al marco conceptual de la evaluación.

3- Valorar los objetivos, propósitos, usos e implicados en la evaluación.

1- Antecedentes históricos de la evaluación 2- Marco conceptual de la evaluación 3- Objetivos, Propósitos y usos 4- Implicados en la evaluación de programas

Investigación evaluativa actual

Mediciones

Pasajes Bíblicos

Observaciones

Primer test oral de la historia de la evaluación

Gileadites Ephraimites

Shiboleth

Lider Jephah Lider Efraín

Schibboleth(Corriente)

1370-1070 a. C (Jordania)

La astrología basaba sus métodos en la combinación de un lenguaje propio:

Símbolos Signos Casas Planetas Dibujos Etc.

Observación a lo largo de los siglos, de la correspondencia entre dichos símbolos y los hechos o caracteres simbolizados.

El río Nilo a su paso por Luxor

Nilómetro

Rey Eduardo I de la Inglaterra

En la década de los años 20, la evaluación era conocida como DOCIMOLOGÍA, del griego dokimé, que significa una nota.

Fue Pierón, un estudioso francés, quien creo la docimología, que es la ciencia del estudio sistemático de los exámenes, en particular de los sistemas de atribuición de notas y de los comportamientos de los examinadores y examinados.

Test escritos

En los E.U.A el conocido estudioso, Horace Mann fue quien creó, en el siglo XX, un sistema de tests, que tenían por objetivo sustituir los examenes orales por los escritos, para que la evaluación fuera más objetiva.

Evaluación Aplicación de tests escritos

Ralph W. Tyler (padre de la evaluación educativa)

Fue quien produjo un gran impacto en la literatura referida a la evaluación, al proponer actividades como:

Escalas de actitud Cuestionarios Observaciones Otras formas de colectar evidencias

Después de la Segunda Guerra Mundial, la creación de organizaciones internacionales de asistencia para el desarrollo de las naciones menos industrializadas llevó consigo la incorporación de procesos evaluativos para muchas de esas intervenciones.

En el campo de la salud se pueden mencionar especialmente las evaluaciones de los programas nacionales de planificación familiar y salud reproductiva (Bertrand et al, 1996).

La incorporación explícita de procesos de evaluación en los sistemas y programas de salud ha llegado algo tardíamente, si los comparamos con otros tipos de programas de desarrollo.

Según Rossi et al (1999) en 1993 menos de un 3% de los miembros de la AEA (American Evaluation Association) declararon salud como su disciplina principal, siendo las frecuencias mayores para educación (22%) y psicología (18%).

V Conferencia Global sobre Promoción de la Salud que tuvo lugar en la ciudad de México del 5 al 9 de junio del año 2000.

En ésta se creó un grupo de trabajo Ad Hoc sobre evaluación. También se recomendó que los modelos de evaluación reconozcan la importancia de la equidad al conducir evaluaciones locales y enfaticen el uso de enfoques participativos y el involucramiento multisectorial.

Es un proceso que procura determinar, de manera más sistemática y objetiva posible, la pertinencia, eficacia, eficiencia e impacto de actividades a la luz de los objetivos específicos. Constituye una herramienta administrativa de aprendizaje y un proceso organizativo orientado a la acción para mejorar tanto las actividades en marcha, como la planificación, programación y toma de decisiones futuras.

(UNICEF 1992)

Conjunto de Herramientas de Planificación, Seguimiento y Evaluacióndel Administrador de Programas

http://www.unfpa.orgmonitoringtoolkitspanishtool2-spanish.pdf

Es un proceso que facilita la identificación, la recolección y la interpretación de informaciones útiles a los encargados de tomar decisiones y a los responsables de la ejecución y gestión de los programas.

Manual para la evaluación de impacto en programas de formación para jóvenes

http://www.ilo.orgpublicspanishregionamprocinterforpublman_evapdfman_eva.pdf

Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables, sobre las actividades, resultados e impactos de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura.

(Nirenberg, Olga; Brawerman, Josette y Ruiz, Violeta, 2000).

http://www.Evaluaci_n_prog_y_pytos_sociales_Olga_Nirenberg.pdf

Conjunto especificado de acciones humanas y recursos materiales, diseñados e implantados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas

¿Qué es un PROGRAMA?

Riecken, 1972Spaniol, 1975Perloff, Perloff y Sussna, 1976Ato, Quiñones, Romero y Rabadán 1989Freeman y Rossi, 1993Fernández Ballesteros, 1995Rossi, Freeman y Lipsey, 1999

Efecto o impacto de

las acciones

Adoptar una decisión política

Proceso sistemático y continuo que proporciona información

Conjunto de procedimientos que se realizan para juzgar el desarrollo de un programa y proveer información sobre sus objetivos, actividades, costos, resultados e impacto

Conjunto de procedimientos establecidos para recoger, organizar y analizar la información de manera confiable.

Respuestas externas en evaluación:• Certificación de calidad/acreditación externa al programa• Fundamentar decisiones de distribución de recursos• Mejorar decisiones de futuros programas• Promover el conocimiento sobre qué y cómo se ha hecho• Proporcionar información pública sobre los logros conseguidos

Respuesta a necesidades internas del programa:• Comprobar la utilidad del programa• Servir de base para el mejoramiento continuo• Promover procesos de aprendizaje colectivo e individual sobre lo que se hace y cómo se hace• Comprender los límites y aciertos de un programa

Enfocado hacia los cambios de las conductas y rendimientos, mediante el cual verificamos los logros adquiridos en función de los objetivos propuestos. Que genera información relevante

Dinámico Continuo Sistemático

Proceso

Permanente

Toma de decisiones

De aprendizaje

Reforzar proyectos

Utilización de múltiples abordajes

El diseño debe dar respuesta a preguntas reales

Crear un proceso participativo

Permitir flexibilidad

Construir capacidad

Toma de decisiones

Adecuados

Específicos

Sensatos

Medibles

Tiempo preciso

Ellos enuncian los resultados esperados y deben ser:

La evaluación se interesa

principalmente en los resultados obtenidos y se

enfoca en

EficaciaLogro de resultados

EficaciaLogro de resultados

PertinenciaEl programa sigue

respondiendo a las necesidades

PertinenciaEl programa sigue

respondiendo a las necesidades

SostenibilidadSe mantuvieron los resultados después del retiro del apoyo

externo

SostenibilidadSe mantuvieron los resultados después del retiro del apoyo

externo

Resultados no previstosEfectos significativos del

rendimiento

Resultados no previstosEfectos significativos del

rendimiento

CausalidadFactores que afectan el

rendimiento

CausalidadFactores que afectan el

rendimiento

Validez de la formulaciónLógico y coherente

Validez de la formulaciónLógico y coherente

EficienciaLos resultados respecto de los costos o inversión

EficienciaLos resultados respecto de los costos o inversión

Estrategia alternativasOtras maneras posibles de

abordar el problema

Estrategia alternativasOtras maneras posibles de

abordar el problema

OIT: “Pautas para la preparación de evaluaciones independientes de programas y proyectos de la OIT”, Dependencia de Evaluación, Oficina de Programación y Gestión 1997. Se puede tener acceso al documento en http://www.ilo.org/public/english/bureau/program/guides/evalmenu.htm

Ético: Informar a los líderes, políticos y ciudadanos de los avances de una política o programa que se ha llevado a cabo y que resultados se han logrado.

Directivo: Lograr una distribución más equitativa y racional de los recursos humanos y financieros. Mejorar la dirección de los programas. Verificar los logros que deben alcanzarse por los involucrados en el proceso. Genera lecciones aprendidas.

Decisional: Para fortalecer la toma de decisiones en la organización, desarrollo y/o reformulación de una política o programa.

Educativo: Motivador para ayudar y educar a entender los procesos donde ellos están comprometidos y se identifiquen con sus objetivos.

Social: Obtener una mejora social, promueven el desarrollo de una democracia deliberadora, el dialogo y la cooperación.

Estratégico:

Funcional: Aprendizaje:

•Análisis de las causas que originan la persistencia del problema.

•Identificación de los problemas emergentes.

•Permite analizar si se están alcanzando los objetivos propuestos.

•Valora el cumplimiento de lo planificado.

•Determina las estrategias más eficaces.

•Informar a los gerentes y políticos sobre si se está trabajando bien o no, según el plan original o de acuerdo a los objetivos.

•Brinda información al público de cómo se están usando los fondos.

•Ayuda a la toma de decisiones sobre la asignación de recursos.

•Ayuda a decidir o pensar en las mejores alternativas de solución.

•Ofrece recomendaciones para mejorar.

•Medir los efectos/beneficios. (Resultados e impactos)

•Dar a los interesados la oportunidad de opinar.

•Proporciona lecciones aprendidas.

•Explican por qué pueden haber ocurrido éxitos, fracasos, resultados imprevistos y/o sus consecuencias en el desarrollo del programa.

Gestores de la intervención Los financiadores Interesados en extenderla o repetirla en otro lugar La comunidad Intersectorialidad Voluntad política El personal del programa Los administradores de programa Sistemas estadísticos Medios de difusión Directivos de salud Otros

¿QUÉ DEBO HACER?¿QUÉ ESTOY HACIENDO?¿QUÉ TAL LO HAGO?¿QUÉ PUEDO HACER PARA MEJORAR LO QUE HAGO?