Enfoque cultural del VIH/SIDA, prácticas creadoras y de intervención social: ¿Cómo medir su impacto social?

Taller Regional UNESCOC. Habana, 22-24 de mayo del 2007

MSc. Mildred Iglesias LinaresCEPDE/ONE, Cuba

¿Por qué surgen los Proyectos Socioculturales de Prevención del VIH/SIDA?

Existe un Problema no Resuelto “La Epidemia del VIH/SIDA”

Problema de SaludNo resuelto

Dilema que afecta PVVS, Familiares, Amigos,Sociedades en su conjunto; Gobiernos, a los países y a la Humanidad.

Requiere de una Respuesta Multisectorial y Pluridimencional

Demanda alternativas de respuesta a la búsqueda de soluciones para la Problemática del VIH

Enfoque Cultural para abordar el tema de la

Prevención, Atención y Apoyo al VIH/SIDA

Proyectos Socioculturales

Proyectos Socioculturales

¿Por qué medir el Impacto de los Proyectos que aborden desde un enfoque cultural la Prevención y la Atención del VIH/SIDA?

Surgen como alternativa de respuesta a la búsqueda de soluciones para la problemática del VIH

Tienen cada vez más aceptación entre los donantes quienes paralelamente demandan la presentación de resultados que evidencien la efectividad de las intervenciones financiadas.

Los propios diseñadores de Proyectos sienten la necesidad de disponer de elementos que le permitan conocer la viabilidad y efectividad de los mismos.

La evaluación es una herramienta fundamental para orientar la toma de decisiones

¿ Qué se define como Impacto de un Proyecto ?

La Evaluación de Causa-Efecto, también identificada como Evaluación del Impacto del Proyecto es una evaluación que se realiza con determinada periodicidad con el propósito de:

Medir si los resultados alcanzados son atribuibles a la intervención del proyecto,

Medir si el proyecto contribuyó en alguna medida al alcance de los resultados

Evaluar si los logros que se evidencian acontecieron independientes al Proyecto, es decir como resultado de otras acciones o factores

IMPACTOIMPACTO:: Es la diferencia entre los resultados alcanzados con la implementación del Proyecto y los resultados que se habrían obtenido si el Proyecto nunca se hubiera implementado

0

10

20

30

40

50

60

70

80

90

100

Impacto del Proyecto

Línea de Base o Resultado del Indicador al inicio del Proyecto

Punto medio o fin del Proyecto

Resultado del indicador CON el Proyecto

Resultado del indicador SI NO hubiera existido el Proyecto

Ejemplo gráfico de lo que sería el Impacto o el Efecto de un Proyecto.

Tiempo

Comportamiento de un indicador según Exposición de las Personas a un determinado Proyecto

INSUMOS

MARCO LÓGICO MARCO CONCEPTUAL DEL PROYECTO

SELECCIÓN DE INDICADORES PARA EL MONITOREO Y EVALUACIÓN

MARCO TEÓRICO DEL PROYECTO

Monitoreo o Evaluación de Proceso

Evaluación de Resultado-Cambio

Evaluación de Causa- Efecto

Evaluación de Costo-Efectividad

DESCRIPCIÓN DEL PROYECTO(Necesidad, Objetivos, Poblaciones Metas, Alcance y Duración)

PLAN DE DISEMINACIÓN DE LA INFORMACIÓN

PLAN DE MONITOREO Y EVALUACIÓN FUENTES DE RECOLESCCIÓN DE DATOS

Sistema de Monitoreo y Evaluación del Proyecto

PROCESOS PRODUCTOS RESULTADO IMPACTO

IMPACTO

Pasos previos a la evaluación del Impacto o el efecto de un Proyecto

INSUMOS

MARCO TEÓRICO DEL PROYECTO

DESCRIPCIÓN DEL PROYECTO(Necesidad, Objetivos, Poblaciones Metas, Alcance y Duración)

PROCESOS PRODUCTOS RESULTADO

Objetivos

del ProyectoImpacto delProyecto

!!!!!!!! Un error en el diseño de los objetivos puede generar desconcierto con el resultado de la evaluación de la efectividad o el Impacto del Proyecto !!!!!!!

El objetivo general es la descripción de lo que el proyecto intenta alcanzar en el largo plazo

El o los objetivos específicos es el logro máximo que el proyecto puede alcanzar con recursos propios y actividades propias dentro de su tiempo de vida.

Actividades son las acciones que se desarrollan dentro del Proyecto

¿Cuáles son los Objetivos y las Actividades dentro de un Proyecto?

Algunas preguntas guAlgunas preguntas guíía...a...

• ¿Qué es lo que el proyecto quiere cambiar ?(conocimientos, actitudes, habilidades, motivaciones, prácticas)

• ¿Qué tipo de cambio se espera?(disminución, incremento, mejoría)

• ¿En qué población se desea el cambio?

• ¿En qué tiempo se espera el cambio?

• ¿Qué cambios, si no suceden, nos harían pensar que el proyecto fracasó?

•• ¿¿Hasta dHasta dóónde es realista pensar que nde es realista pensar que podemos propiciar un cambio?podemos propiciar un cambio?

... ¿Pero, cómo definir cuáles son los objetivos específicos de un Proyecto?

Marco lógico del Proyecto e Indicadores

Marco Lógico del Proyecto, es como una fotografía del proyecto, ilustra las rutas o caminos que deberán seguir los insumos del Proyecto para lograr el alcance de los objetivos que se han fijado. Ilustración de lo que el Proyecto se propone hacer para lograr sus Objetivos

INSUMOS PROCESOS PRODUCTOS RESULTADO IMPACTO

SELECCIÓN DE INDICADORES PARA EL MONITOREO Y EVALUACIÓN

Los indicadores son los instrumentos que se emplean para medir los Progresos de un Proyecto.

Identificar los aspectos claves para el éxito del Proyecto y definir el conjunto manejable de indicadores que se empleará en el Monitoreo y Evaluación del Proyecto.

•ser pertinentes al proyecto y aplicables en el contexto del país, •posibles de obtener, •fáciles de interpretar •capaces de detectar cambios a lo largo del tiempo; para lo cual es requisito que tengan información de referencia tomada antes de la intervención.

Indicadores

Los indicadores son mediciones cuantitativas o cualitativas que sirven para describir un comportamiento, concepto, fenómeno, o sencillamente el funcionamiento de los distintos aspectos de un determinado proyecto: los insumos, los procesos, los productos y los resultados.

Los indicadores que se definan para el Monitoreo y Evaluación de los Proyectos deben reunir las siguientes condiciones:

Lo primero es realizar un Monitoreo del Proyecto, ya que mientras no se hayan realizado según lo planificado las actividades y no se haya alcanzado a una determinada población no podrá atribuirse el logro de un determinado resultado a las actividades desarrolladas por el Proyecto.

Pero, ya tenemos los Objetivos, las actividades, el marco lógico, los indicadores y ….¿Cuándo y cómo evaluamos el impacto de un Proyecto?

La Evaluación de Proceso o también conocida como Monitoreo de un Proyecto consiste en realizar un seguimiento continuo a las acciones desarrolladas por el proyecto, con el propósito de conocer:

¿cuánto se ha hecho?, ¿qué se está haciendo?, ¿qué tan bien se ha hecho o se está haciendo? ¿cómo podría mejorarse? ¿qué no debería continuarse haciendo? ¿donde se encuentran los obstáculos que interfieren el buen desarrollo del Proyecto?.

Se realiza regularmente para guiar y de ser necesario, corregir el desempeño de un proyecto. Su objetivo fundamental es el mejoramiento.

La Evaluación de Proceso o Monitoreo de un Proyecto

Número de mensajes difundidos por canal de TelevisiónCobertura de los canales que transmitieron los mensajesPor ciento de población que recuerda haber escuchado o haber visto los mensajes

Número de presentaciones de una obra de teatroNúmero de personas alcanzadas por las presentaciones de la obra de teatroPor ciento de personas que les gustó la obra

Número de personas que han visto un determinado manualNúmero y/o por ciento de personas que han leído el manualNúmero y/o por ciento de personas que encontraron interesante el manualNúmero y/o por ciento de personas que les gustó el manual

Ejemplo de indicadores de proceso

La Evaluación de Resultado-Cambio se define como una Evaluación episódica encaminada a medir si se logra en la población meta el cambio deseado.

Este tipo de evaluación solo permite medir la dirección y magnitud del cambio, es decir sacar conclusiones sobre cuanto aumentó o disminuyó el indicador en relación con la línea de base, o cuanto se aproximó a la meta, pero aunque pudiera suponerse que el cambio en el indicador de resultado estáasociado a las acciones del proyecto, este tipo de evaluaciones, no permite aseverar esa hipótesis.

Las Evaluaciones de Resultado son más costosas que las evaluaciones de Proceso. Las mediciones de los indicadores se obtienen por medio de Encuestas o Estudios cuyo alcance deberá coincidir con el alcance del Proyecto.

La Evaluación de Resultado de un Proyecto

Para evaluar cambios en la población en cuanto a actitudes, conocimientos, habilidades, percepciones, motivaciones, creencias, comportamientos, que son algunos de los principales objetivos de los Proyectos de SIDA, se requiere disponer de muestras representativas de las poblaciones en estudio. Estas muestras deberán ser diseñadas con todo rigor y lo suficientemente grandes como para que las estimaciones de los indicadores sean aceptables. Mientras mayor alcance tenga los proyectos, más sensibles sean los indicadores a evaluar y mayor desglose se desee de los resultados, mayor será el tamaño de muestra requerido para garantizar la validez de los datos.

Ejemplo de indicadores de Resultado

Conocimiento

Actitudes

Destrezas

Conductas

Porcentaje de población objetivo que conoce que el uso del condón disminuye el riesgo de contagio con el VIH.

Porcentaje de población objetivo que está dispuesta a usar el condón para protegerse del contagio con el VIHPorcentaje de población objetivo que aceptaría abrazar a una persona con VIH

Porcentaje de población objetivo que puede negociar el uso del condón en las relaciones sexuales con su pareja

Porcentaje de población objetivo que reporta usar siempre condón.

Pero ….., ese resultado se habrse habrááalcanzado gracias al Proyectoalcanzado gracias al Proyecto

La Evaluación del Impacto del Proyecto se realiza con el propósito de Medir si los resultados alcanzados son atribuibles a la intervención del proyecto.

¿Cómo Saberlo?

¿¿CCóómo medir el impacto de un mo medir el impacto de un Proyecto?Proyecto?

No existe una manera únicaDepende de los Objetivos y Alcance del ProyectoDepende de las acciones del ProyectoDepende de los Recursos Financieros Disponibles Depende de que se disponga de recursos humanos con conocimientos y habilidades en el empleo de técnicas estadísticas especializadas

Es una tarea compleja y costosa!!!!!!

¿¿CCóómo medir el impacto de un mo medir el impacto de un Proyecto?Proyecto?

Atendiendo a que por lo general, en los resultados del Proyecto influyen factores exógenos al mismo, para evaluar el impacto, se requiere del diseño de estudios que permitan controlar el efecto de las “variables confusoras” o “terceras variables”, que son aquellos otros factores que pueden afectar los resultados esperados y que no tienen que ver con las acciones del proyecto.

Se necesita establecer evidencias de una relación causal entre los resultados alcanzados y las actividades del proyecto.

Lo clásico, pero no siempre aplicable, es el empleo de un DiseDiseñño Experimentalo Experimental

Una Técnica de Evaluación de impacto

DISEÑO EXPERIMENTALDISEÑO ANTES Y DESPUES DE LA INTERVENCIÓN CON UN GRUPO DE CONTROL

Paso 1. Se divide la población en dos grupos (idealmente al azar)Paso 2. Se realiza una medición del indicador en cada grupo. (generalmente a

través de Encuestas)Paso 3. Uno solo de los grupos participa de las intervenciones del Proyecto

(Grupo Experimental) y se controla que ningún miembro del otro grupo participe de las intervenciones del Proyecto (Grupo Control)

Paso 4. Después de la intervención se vuelve a medir el indicador para ambos grupos y se comparan los resultados.

Paso 5. Si hubo un cambio favorable en el resultado del indicador y este cambio es estadísticamente mayor en las personas que estuvieron expuestas al Proyecto, entonces se puede decir que el proyecto tuvo un impacto sobre el resultado alcanzado.

Otras Técnicas de Evaluación de Impacto

La Evaluación de Impacto se apoya básicamente en el modelo clásico de Diseño Experimental, pero no todos los proyectos soportan el empleo de estas técnicas y en ocasiones por problemas éticos no son recomendables.

Otras alternativas metodológicas para estimar una relación causal es por medio estudios longitudinales o estudios transversales con muestras representativas de las poblaciones en estudio, y el empleo de modelos estadísticos multivariados como por ejemplo modelos de regresión (lineal, logit, probit, multi-logit, en dependencia de la naturaleza de la variable dependiente: continua, dicotómica o politómica) o modelos de regresión multinivel.

Dos ejemplos de EvaluaciDos ejemplos de Evaluacióón del Impacto o el Efecto del Proyecto n del Impacto o el Efecto del Proyecto sobre los Resultados Alcanzadossobre los Resultados Alcanzados

Aumentar en los jóvenes el uso del condón en las relaciones sexuales

Aumentar la disposición al uso del condón en los Jóvenes de 15 a 24 años que viven en la Habana Vieja

Incrementar el conocimiento sobre las formas de reducir el riesgo de contagio con el VIH en los Jóvenes de 15 a 24 años que viven en la Habana Vieja

ActividadesActividades

Objetivos Objetivos EspecEspecííficosficos

Objetivo GeneralObjetivo General

Realización de secciones de Teatro Callejero en el municipio Habana Vieja diseñadas para sensibilizar a los jóvenes con el tema del VIH/SIDA y promover el uso del condón.

Fuente: Iglesias M., Mena M. CEPDE/ONE

¿Hasta dónde es realista pensar que podemos propiciar un cambio?

¡¡Hasta aquHasta aquíí se puede se puede (esforz(esforzáándonos mucho)!ndonos mucho)!(Considerando el tiempo y $$$ de este proyecto)

Ejemplo 1

Técnica Aplicada para medir el Efecto del Proyecto: Encuesta Transversal

Después del ProyectoAntes del Proyecto

Después del ProyectoAntes del Proyecto

Por ciento de jóvenes de 15 a 24 años que viven en la Habana Vieja y están dispuestos a usar condón en todas las relaciones sexuales con penetración

Indicador 2

54%40%Jóvenes que NO participaron de las funciones de teatro

55%40%Jóvenes que participaron de las funciones de teatro

65%59%Jóvenes que NO participaron de las funciones de teatro

80%59%Jóvenes que participaron de las funciones de teatro

Por ciento de jóvenes de 15 a 24 años que viven en la Habana Vieja e identifican correctamente las formas de reducir el riesgo de contagio con el VIH.

Indicador 1

Proyecto Cuba- Fondo Mundial “FORTALECIMIENTO DE LA RESPUESTA NACIONAL

MULTISECTORIAL PARA LA PREVENCIÓN Y ATENCIÓN DE LA EPIDEMIA DEL VIH/SIDA”

Ejemplo 2

OBJETIVO del ProyectoOBJETIVO del Proyecto (1 de los 4 objetivos)(1 de los 4 objetivos)

• Promover la adopción de conductas sexuales seguras en la población general

META DEL PROYECTO:META DEL PROYECTO: “Reducir el número de nuevas infecciones por VIH/SIDA

Aumento del Conocimiento

sobre la transmisióndel VIH/SIDA

Aumento del Conocimiento

sobre las formas de reducir el contagio

con el VIH/SIDA

Aumento de la Percepción sobre la

severidad de la enfermedad

Percepción sobre el comportamiento

promovido (uso del condón)

Percepción sobre el riesgo individual de

contagio con el VIH/SIDA

Aumento del uso del condón en las relaciones sexuales ocasionales

IMPACTOReducción de la incidencia del VIH/SIDA

Aumento del conocimientode los puntos de venta de

los condones

Disminución de lasactitudes desfavorables al

uso del condón

Disminución del Estigmay Discriminación hacia

las PVVS

Disminución del Estigmay Discriminación hacia

los HSH

Exposición al Proyecto

Materiales Educativosproducidos y

distribuidos (folletos, manuales)

Materiales Audiovisualesproducidos (novelas, cuñasradiales, prog. televisivos, películas, documentales)

Promotores formados(educadores pares,

consejeros, promotores)

Desarrolladascampañas

publicitarias

Incluido el tema del VIH/SIDA en el currículo académico de estudiantes

de la enseñanza media, pedagógicos y futuros médicos

Desarrollados de talleres de

capacitación en temas de VIH/SIDA

Desarrolladas estrategiasde intervencióncomunitaria

Implementados serviciosde consejería y línea

ayuda

Desarrolladas actividades de sensibilización y promoción

del uso del condón

Profesorescapacitados

Condones comprados y

distribuidos en toda la red

Ampliadas las ofertas de condones (introducido el

condón de mercadeosocial VIVE)

Ampliados la red de ventas con nuevos

puntos No tradicionales

Centros de prevenciónabiertos y

funcionando

DesarrolladaRespuesta

Ampliada a la Epidemia

Presupuesto disponible y ejecutado según requerimiento

de cada actividad

Adquiridos en tiempo losinsumos y materiales

requeridos

PRODUCTOS

RESULTADO

PROCESOS

Equipo técnico y gestorseleccionado y capacitado

INSUMOS

46,8 %

59,3%

0

10

20

30

40

50

60

70

80

90

100

Usuarios del condon en el 2001 Usuarios del cond'on en el 2005

2005

2001

Cuba, 2005. Proporción de personas de 15 a 49 anos que usaron condón en su última relación sexual ocasional

Evaluación del impacto por medio de una Encuesta Transversal de alcance Nacional aplicada a una muestra probabilística de personas de 15 a 49 años.

Empleo de Regresión Multinivel.

Cuba, 2005. Impacto del Proyecto en el uso del condón en la Población de 15 a 49 años con relaciones ocasionales. Escenarios según exposición al Proyecto

Año 2005

Año 2001Usaron condón con la pareja ocasional el 46.8 %

69.6%Si el 100% de las personas tuvieran una alta exposición al proyecto

62.6% Si el 100% de las personas tuvieran una exposición media al proyecto

4.3 (27756)IMPACTO DEL PROYECTO

55% (358494)Si no existiera el proyecto

59.3% (386250)Exposición real al proyecto

Estimación de la Proporción de personas de 15 a 49 años con

parejas ocasionales queusarían condón

Cobertura de la Exposición al Proyecto

!!!!El Proyecto tuvo un efecto positivo sobre el uso del condón en las Relaciones Sexuales Ocasionales!!!!!

46,8 %

55 %59,3%

0

10

20

30

40

50

60

70

80

90

100

Usuarios del condon en el 2001 Usuarios en el 2005 sin ProyectoCuba/FM

Usuarios en el 2005 con ProyectoCuba/FM

2001

2005

2005

Cuba, 2005. Proporción de personas de 15 a 49 años que hubieran usado el condón en su última relación sexual si no hubiera existido el Proyecto Cuba-Fondo Mundial

Resultado Real

Gracias al Proyecto, se incrementó en 4,3 puntos porcentuales la proporción de usuarios Aproximadamente 27756 personas más evitaron el riesgo de contagio con el VIH

46,8 %

59,3%

69,6%

0

10

20

30

40

50

60

70

80

90

100

Usuarios del condon en el 2001 Usuarios en el 2005 con Proyecto Cuba/FMUsuarios en el 2005 si toda la poblacion hubiera tenido una alta Exposicion al Proyecto Cuba/FM

2001

2005

2005

, sie

l 100

% d

e la

spe

rson

as h

ubie

ran

teni

doun

aal

taEx

posi

ción

al P

roye

cto

Cuba, 2005. Proporción de personas de 15 a 49 anos que usaron condón en su última relación sexual según Exposición al Proyecto Cuba-Fondo Mundial

Resultado Real

57,5

70

49,9

66,1

47,2

59,6

43,4

58,5

43,1

52,8

44,446,6

37,2

45,5

0

10

20

30

40

50

60

70

80

90

100U

so d

el c

ondó

n

15-19 20-24 25-29 30-34 35-39 40-44 45-49

Grupos de Edades 2001*2005

Cuba, 2005. Proporción de personas con relaciones ocasionales que usaron condón en su última relación sexual según grupos de edades (año 2001 y año 2005)

%

Se incrementó el uso del condón en todos los grupos de edades, pero las mayores proporciones de usuarios continúan concentrándose entre los más jóvenes.

En el grupo de 15 a 24 años disminuyó la prevalencia. Prevalencia Estimada en 15-24 años, 0.07% en el 2001 Prevalencia Estimada en 15-24 años, 0.05% en el 2005.

Mildred Iglesias LinaresCEPDE/ONE, Cuba mildred@one.gov.cu