Post on 07-Oct-2018
Implementando Evaluaciones de
Impacto – IPA/J-PAL
Taller de Evaluaciones de
Impacto SIEF
L i m a , P e r ú
M a r z o 1 7 , 2 0 1 5
IPA y JPAL – Enfoque de Investigación
IPA generates insights on what works and what doesn’t through randomized evaluations.
We aim to ensure that those findings will be useful to, and used by, practitioners and policymakers.
We canuse this approach to generate actionable insights on products and product-linked interventions.
Académicosej.. MIT, Harvard,
Yale, Universidad del
Pacifico
Proveedores
de Serviciosej.. CARE, Oxfam,
ONGs y entidades
privadas locales
Agencias
Gubernamentalesej.. Ministerio de Educación,
Perú & Ministerio de
Agricultura, Paraguay
Donantese.g. BM, BID, Ford,
Gates
Extensa Colaboración
Más de 500 Proyectos en 54 Países
Sectores: Salud, Educación, Agricultura, Finanzas, Gobernanza, Protección Social
Objetivos
9
Después de esta sesión los participantes serán capaces de:
Distinguir distintas fuentes de datos para la evaluación, y entre distintos modelos de medición.
Conocer algunas de las dificultades que deben considerarse al diseñar cuestionarios.
Conocer las principales etapas de la planificación del proceso de recolección, monitoreo y digitación de datos.
Desarrollar Términos de Referencia (TdRs) que permitan contratar un levantamiento de datos riguroso.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Esquema de presentación
10
1. Datos primarios y datos secundarios
2. Medición formativa y medición reflectiva
3. Diseño de cuestionarios
4. Modos de aplicación
5. Aseguramiento de calidad en el levantamiento
6. Consejos para subcontratar el levantamiento de datos
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Medición: Introducción
11
¿Qué queremos/necesitamos medir?
Un buen punto de partida: la Teoría de Cambio.
Indicadores de procesos vs indicadores de resultados.
Variables correlacionadas con el resultado.
¿De dónde obtenemos los datos?
¿Cómo medimos conceptos abstractos?
¿Cómo diseñar y testear cuestionarios?
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Datos primarios vs secundarios
13
Datos secundarios: datos ya existentes procedentes de encuestas de la DGEEC u otros (Censo, encuestas nacionales…) o extraídos de registros administrativos.
Datos primarios: recolecta tus propios datos mediante encuestas, test académicos, mediciones físicas o biológicas, observación directa, etc.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Datos secundarios
14
Registros administrativos:
Originalmente recolectados por gobiernos u otros, con fines de focalización, gestión o rendición de cuentas.
• Registros educativos, médicos, electorales, de consumo
eléctrico, de la seguridad social; datos de monitoreo de
otros programas existentes…
Suelen cubrir a toda su población, pero pueden carecer de información relevante.
Bajo costo, pero no siempre fiables, accesibles e identificables.
• Si no podemos identificar a los individuos, no podremos saber
qué datos corresponden al grupo de control y qué datos al grupo
tratado.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Datos secundarios
15
Encuestas:
Datos obtenidos mediante grandes encuestas del Estado, con fines amplios de caracterización:
• Encuesta Permanente de Hogares (EPH)• Encuesta Continua de Empleo (ECE)• Censo Económico Nacional (CEN)
Suelen recolectar información muy detallada sobre individuos que constituyen una muestra representativa
• Pueden ser muy útiles para evaluar necesidades y contexto.
• Utilidad limitada para evaluación de impacto: tamaño muestral; relevancia de los indicadores; datos anonimizados.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Datos secundarios
16
¿Qué datos secundarios podrían
ser útiles para mi evaluación?
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Datos primarios
17
Necesitaremos crear los datos nosotros mismos cuando:
No hay datos secundarios o estos no son fiables.
No proporcionan el tamaño muestral suficiente.
No contienen las variables necesarias o no permiten identificar a los beneficiarios.
El instrumento más frecuente para recolectar datos primarios es la encuesta.
Otros instrumentos: test educativos, test psicométricos, mediciones físicas o biológicas, datos de navegación web…
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Operacionalización e Índices
18
Concepto Definición Dimensión Indicadores /
Definición operacional
Método de recogida
de datos
Posible
índice
Accesibilidad
a los servicios
de salud
Mayor o menor
posibilidad de
tomar contacto
con los
servicios de
salud para
recibir
asistencia
Accesibilidad
geográfica
Tiempo medido en horas y
minutos que se demora una
persona en trasladarse desde
su domicilio al centro de
atención
Datos administrativos
del hospital: se emplea
la dirección particular
para calcular la
distancia y el tiempo.
Índice de
accesibilidad
a los servicios
de salud que
combina los
indicadores
de
accesibilidad
geográfica,
económica y
cultural.
Accesibilidad
económica
Nivel de ingresos del hogar Pregunta de
cuestionario: “En el
último mes, ¿a cuánto
ascendieron los
ingresos totales en su
hogar? Incluya ingresos
del trabajo, rentas de
capital o ayudas”.
Accesibilidad
cultural
Puntuación en una prueba de
conocimiento sobre los
servicios de salud disponibles
Test estandarizado
Puntuación en una prueba de
percepción de la importancia
de los problemas de salud
Test estandarizado
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Diseño de cuestionarios
20
Paso 1: Definición del contenido
Paso 2: Redacción y diseño del cuestionario
Paso 3: Evaluación del cuestionario
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Paso 1: Contenido
21
Todas las preguntas deben estar relacionadas con el estudio y debe estar claro el porqué han sido incluidas:
Identificadores
Adhesión/cumplimiento del tratamiento
Resultados intermedios y finales
Efectos indirectos
Efectos heterogéneos
Variables de control
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Paso 2: Diseño
22
Generalmente no diseñamos un cuestionario entero desde cero: Revisa estudios similares y sus cuestionarios
Revisa cuestionarios de instituciones públicas y multilaterales
Cuida el diseño gráfico.
Cuida la redacción de preguntas y respuestas.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Paso 2: Diseño
23
Evita conceptos ambiguos o técnicos:
¿Vive usted con algún adolescente?
Existe un medicamente antirretroviral disponible que puededisminuir la transmisión de HIV a neonatos. Verdadero oFalso?
Evita hacer varias preguntas en una:
¿Está de acuerdo con la decisión del gobierno de tomarmedidas en contra de la delincuencia y aumentar elnúmero de policías en las calles?
Cuidado con hacer supuestos erróneos:
¿Cuándo fue la última vez que visitó una clínica dental?
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Paso 2: Diseño
24
A veces es bueno empezar con preguntas “interesantes” – no una lista de preguntas sociodemográficas.
Hacer las preguntas delicadas una vez que el encuestador haya logrado cierta confianza con el encuestado.
Cuidado con la extensión: es más difícil desarrollar un cuestionario corto y preciso, que uno largo y pesado.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Paso 3: Evaluación
25
Comprueba que el cuestionario no presente problemas de redacción o planteamiento, que puedas detectar incluso antes de levantar datos:Question Appraisal System (QAS) = Sistema de Evaluación
de Preguntas.
Observa cómo funciona el cuestionario con unas pocas personas, antes de realizar el piloto de encuesta o la encuesta final:Entrevistas cognitivas: observa a una persona rellenando el
cuestionario, e indaga acerca de cómo lo procesa y responde.
Si tienes recursos, haz una encuesta piloto antes de realizar la encuesta final (para detectar problemas logísticos y de implementación).
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Modos de aplicación de Encuestas
27
Cara a cara: el entrevistado y el encuestador están físicamente presentes durante la entrevista.
Telefónica: la entrevista es conducida por un encuestador mediante un aparato telefónico.
Auto-administrada (en papel o vía web): se le entrega/envía el cuestionario al encuestado, y este lo completa sin acompañamiento.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Principios de la Calidad de Datos
30
• Definición: Datos completos levantados para la totalidad de la población de estudio.
• Violación: Encuestas con preguntas blancas .Cabalidad
• Definición: Datos bien especificados capturan correctamente los parámetros de interés.
• Violación: Preguntas con lenguaje confuso.Precisión
• Definición: Datos obtenidos según protocolos y procedimientos bien estructurados.
• Violación: Aplicación de preguntas en orden incorrecto.
Integridad
• Definición: Datos que expresan información verdadera de la población de estudio.
• Violación: Primado, falsificación de datos.Veracidad
• Definición: Datos obtenidos mediante procesos estandarizados, iguales para toda la población.
• Violación: Encuestas aplicadas distintamente en ciertas poblaciones.
Homogeneidad
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Amenazas a la Calidad de Datos
31
Diseño: El diseño de evaluación cuenta consupuestos incorrectos o instrumentos que no sonajustados al contexto. Amenazas: Tasas de participación sub-óptimas,
Errores de medición.
Principios amenazados: Cabalidad, Precisión, Integridad.
Implementación: Los equipos de levantamiento dedatos violan los protocolos de aplicación. Amenazas: Procesos Heterogéneos, Falsificación de
datos.
Principios amenazados: Cabalidad, Integridad, Precisión, Veracidad, Homogeneidad.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Amenazas a la Calidad de Datos
32
Eventos Exógenos:
Imprevistos que modifican,corrompen, o inhabilitan al diseño deevaluación (ej: desastres naturales,conflictos sociales)
Amenazas: Implementación parcial de la intervención, cancelación del programa.
Principios amenazados: Cabalidad, Integridad, Precisión, Homogeneidad.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Diseño
33
Las amenazas de diseño NO son totalmente evitables, pero se puede disminuir su efecto:
Revisando los supuestos del diseño y determinando potenciales valores para parámetros clave.
Testeando varias estimaciones de parámetros clave.
Contando con un Plan de Recuperación y Reemplazos (plan de contingencia).
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Diseño
34
Algunas herramientas prácticas para implementar los pasos anteriores incluyen:
Hacer un Estudio Piloto!
Monitoreo y Medición para detectar posibles distorsiones en los parámetros del diseño.
Pre-testear los instrumentos de medición (entrevistas cognitivas, grupos focales).
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Implementación
35
A diferencia de las amenazas de diseño, las amenazas de implementación son casi siempre evitables. Algunas vías para combatir estas amenazas son:
Control estricto sobre la planificación e implementación del levantamiento de datos en terreno.
Capacitaciones rigurosas de los equipos de trabajo ¡Idealmente debe participar también el equipo evaluador!
Evaluación de Procesos del Levantamiento ¿Se están respetando los protocolos establecidos?
Monitoreo mediante Back-Check y Escrutinio.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Implementación
36
Algunas herramientas prácticas para implementar los pasos anteriores incluyen:
Actividades de Monitoreo del Levantamiento de Datos en tiempo real.
Documentación del Levantamiento de Datos.
Términos de Referencia estrictos.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Monitoreo
37
Actividades clave de Monitoreo
Back-Check:
• Re-aplicación de una sección de los instrumentos.
• Por lo general se escoge aleatoriamente a un 10-15% de los respondentes.
• No se re-aplica necesariamente todo el instrumento, sino que más bien se aplican ciertas preguntas que no debiesen variar mucho en el mediano plazo.
• Por lo general, se realiza vía telefónica.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Herramientas de Calidad: Monitoreo
38
Actividades clave de Monitoreo
Escrutinio: • Revisión de instrumentos ya aplicados (ex-post). • Se examinan: Tasas de respuesta, Coherencia,
etc. • Es recomendable realizar escrutinio a un 100%
de los instrumentos recibidos. • Se realiza idealmente en el mismo momento en
que se recibe el instrumento completado.
Evaluación de procesos: • Observación y registro de procesos durante el
levantamiento de datos.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Calidad de Datos
39
Los errores de calidad
son particularmente
graves cuando son
sistemáticos y/o no
distribuidos de igual
manera entre
tratamiento y control
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
¿Por qué trabajar con una empresa encuestadora externa?
41
Contratar a una empresa encuestadora para realizar el trabajo de campo de una evaluación puede ser deseable por varias razones:
Experiencia
Mayor Escala
Equipos de Trabajo
Redes de contacto
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
¿Qué aspectos son importantes considerar cuando trabajamos con una empresa externa?
42
Aspectos claves a considerar:
Elaboración de Términos de Referencia (TORs)
Construcción de un presupuesto Interno (nuestra base comparativa)
Análisis del presupuesto presentado por la empresa.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Elaborando Términos de Referencia
TORs: Es un documento oficial que describe y regula explícitamente las obligaciones y compromisos contraídos entre el mandante y la empresa contratada.
43
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Elaborando Términos de Referencia
Checklist para Términos de Referencia:
Protocolo de Confidencialidad: Acuerdo que estipula que se resguardará la privacidad e integridad de los datos levantados, en especial de los datos con información sensible.
Protocolo de Muestreo: Estipula el Marco Muestral, las tasas de participación requeridas por el estudio, Instructivos para la recuperación de muestra (si fuese necesario), etc.
Protocolo de Etapas: Listado de etapas del trabajo en orden cronológico. Ej: Estudio Piloto -> Línea de Base -> Encuesta de Salida -> Encuesta de Seguimiento.
Selección y Capacitación del Personal: Especificaciones para la búsqueda y selección de personal adecuado y la capacitación del mismo; especificaciones de cargos y estructura salarial.
44
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Elaborando Términos de Referencia
Checklist para Términos de Referencia (continuación)
Protocolo de Aplicación: Instructivo completo para la aplicación de encuestas y otros instrumentos de medición.
Protocolo de Monitoreo: Instructivo de evaluación de procesos (qué procesos medir y cómo medirlos), tasas de Back-check requeridas (10-15%), tasas y procedimientos para el Escrutinio de instrumentos.
Protocolo de Entregas: Estipula plazos de entrega para las instancias más relevantes: Informes finales, informes parciales, bases de datos, reportes de avance, reportes de monitoreo. Es preferible que vaya organizado por etapas.
Sanciones por Incumplimiento: Estipulación de sanciones que aplican cuando los plazos de entrega y metas de calidad no se cumplen dentro de los rangos pactados.
Digitación: Especificaciones de digitación: ¿Digitación doble o simple?, tasas de error de digitación aceptables (0,1-0,5%), instructivo para digitación.
45
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar
Buenas Prácticas de Diseño de Presupuestos
46
Elaborar un presupuesto propio es útil aunque se quiera contratar a una empresa externa. Entre otras cosas, nos provee de una base comparativa.
Checklist de Consideraciones y Buenas Prácticas de Diseño de Presupuestos.
Etapas: Conformar el presupuesto de evaluación por etapas. Considerar necesidad de cada etapa por separado.
Monitoreo: Considerar un monto para el monitoreo de procesos y calidad, sobre todo si se va a trabajar con una empresa externa.
Escenarios: Conforme varios escenarios presupuestarios. Considere potenciales cambios en: parámetros claves del levantamiento (tasas de respuesta esperadas), estructuras del trabajo de campo (salarios, personal), número de etapas.
Imprevistos: Incluya entre un 5-2% del presupuesto total como un monto para imprevistos.
Fuentes de datos Medición Cuestionarios Aplicación Calidad de datos Subcontratar