Planificación Monitoreo Digitación Documentación Costos · PDF file-...
Transcript of Planificación Monitoreo Digitación Documentación Costos · PDF file-...
Monitoreo Digitación Costos Planificación Documentación
Monitoreo Digitación Costos Planificación Documentación
2
Agenda
Monitoreo Digitación Costos Planificación Documentación
Levantamiento de datos
3
Nicole Carpentier
B.A., Universidad de Chile
Analista de Investigación, J-PAL LAC
Monitoreo Digitación Costos Planificación Documentación
Fuente: Groove et al 2004, mostrado en
Casas Cordero 2004
Monitoreo Digitación Costos Planificación Documentación
5
Después de esta sesión, los participantes
serán capaces de:
1. Conocer las principales etapas de la planificación
del proceso de recolección, monitoreo y digitación
de datos.
2. Comprender la relevancia de la documentación del
proceso.
3. Conocer parámetros clave de una evaluación de
impacto.
Objetivos
Monitoreo Digitación Costos Planificación Documentación
Importance
1. Planificación del levantamiento de datos
2. Monitoreo del levantamiento de datos
3. Digitación
4. Documentación
5. Costos de una evaluación de impacto
Índice
6
How to Components Example What it is Big picture
Monitoreo Digitación Costos Planificación Documentación
1. Planificación del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
¿Cuáles son amenazas a la calidad desde la recolección de datos?
A. Encuestador revela dos categorías de respuesta en vez de cuatro.
B. 50% de los apoderados acceden a contestar
C. No se logra llevar a cabo la aplicación del cuestionario de estudiantes en una escuela debido al paro de profesores.
D. Todas las anteriores
A. B. C. D.
20%
78%
0%2%
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
Posibles amenazas a la calidad desde la
implementación:
Los equipos de levantamiento de datos violan los
protocolos de aplicación (procesos heterogéneos,
falsificación).
No se logra encuestar a toda la muestra en el
periodo de levantamiento.
Eventos exógenos imprevistos.
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
Definir modos de aplicación:
Cara a cara: el entrevistado y el encuestador están
físicamente presentes durante la entrevista.
Telefónica: la entrevista es conducida por un encuestador
mediante un aparato telefónico.
Auto-administrada (en papel o vía web): se le envía el
cuestionario al encuestado, y este lo completa sin
acompañamiento.
Monitoreo Digitación Costos Planificación Documentación
¿En general, cuál de los siguientes modos de aplicación es el más caro?
A. Cara a cara
B. Telefónica
C. Auto-administrada
A. B. C.
98%
0%2%
Monitoreo Digitación Costos Planificación Documentación
VENTAJAS DESVENTAJAS
CARA A CARA
- Costo (encontrar al encuestado/costos de
transporte)
- Mayor tasa de respuesta / Menor tasa de
preguntas omitidas
- Mayor tiempo de aplicación
- Asistencia al entrevistado en respuestas
que no se entienden fácilmente - Privacidad
- Efecto encuestador
TELEFÓNICA
- Cobertura de la muestra
- Asistencia al entrevistado en respuestas
que no se entienden fácilmente (menor
que en cara a cara)
- Menores tasas de respuesta (mayor
desconfianza?)
- Menor profundidad
- Menos costosa y más rápida que cara a
cara
- Efecto encuestador (menor que en cara a
cara)
- Encuestados suelen responder con más
frecuencia la última alternativa
AUTO-
ADMINISTRADA
- El encuestado tiene el tiempo necesario
para responder de manera reflexiva - Cuestionario debe ser auto contenido
- Menos sesgo hacia comportamientos
socialmente aceptados en temas sensibles
- Menores tasas de respuesta/mayor tasa de
preguntas omitidas
- Menos costosa
- No hay efecto encuestador - Velocidad de aplicación depende del servidor
(WEB)
- Sistema interactivo de asistencia,
disminuyendo no respuesta (WEB) - Confidencialidad y seguridad de datos (WEB)
- Mejor manejo de saltos (WEB) - Cobertura depende de acceso a internet (WEB)
- Ahorro en digitación de datos (WEB) - Altos costos de programación y diseño (WEB)
Monitoreo Digitación Costos Planificación Documentación
Modos de aplicación: ¿cómo decidir? Conceptos a medir
Población de interés
Información de contacto
Restricciones de tiempo
Tamaño y alcance de la muestra
Dispersión de la muestra
No respuesta
Instrumento
Costo
Planificación del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Ejemplo: Programa de Involucramiento Parental:
2 cohortes, 62 escuelas en 5 comunas, 20.000
estudiantes
3 años (LB, SEG I, SEG II)
Encuesta a estudiantes (mezcla
autoadministrada / cara a cara), encuesta a
apoderados (auto-administrada) y encuesta a
profesores (auto-administrada)
Planificación del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
Etapas de la planificación del proceso de
recolección:
A. Preparación instrumentos y aprobación
cuestionarios Comité de Ética.
B. Organización del trabajo de campo (tiempos en
terreno, tamaño equipo encuestador, logística,
imprenta).
C. Selección y capacitación del equipo de campo.
D. Supervisión y control (monitoreo) del trabajo de
campo durante el levantamiento.
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
A. Preparación instrumentos y aprobación
cuestionarios Comité de Ética.
Ver clases de Ética y Diseño de Instrumentos.
B. Organización del trabajo de campo:
i. Tiempo total disponible para el trabajo de campo
(contexto evaluación, contexto escuelas).
ii. Planificación escuelas.
iii. Número de encuestadores necesario.
iv. Qué equipo visitará cada punto de muestreo y
cuándo, cuántas veces vuelve.
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
A. Preparación instrumentos y aprobación cuestionarios Comité de Ética.
Ver clases de Ética y Diseño de Instrumentos.
B. Organización del trabajo de campo (continuación):
i. Restricciones externas (i.e. horarios de la escuela,
fuera de horario de trabajo, vacaciones).
ii. Contexto / Seguridad de personas y datos.
i. Protocolo de seguridad de personas (registro encuestadores
en terreno, explicación de riesgos, tarjeta individual, carta de
compromiso, acuerdo de confidencialidad)
ii. Estándares de seguridad de datos (encuestas con información
identificable removible, almacenamiento seguro)
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
C. Selección y capacitación del equipo de campo
i. Definición del perfil del encuestador
ii. Convocatoria según el contexto (universidades, centros
de formación técnica, etc).
iii. Pre-selección.
iv. Características relevantes del encuestador:
Habilidades interpersonales
Habilidades de organización (orden por ejemplo)
Experiencia en encuestaje, si no, dar ejemplos de posibles errores
en la práctica (qué hacer si estudiante no quiere responder
cuestionario por ejemplo).
Afinidad con el estudio.
Monitoreo Digitación Costos Planificación Documentación
Planificación del levantamiento de datos
C. Selección y capacitación del equipo de campo (continuación).
v. Capacitación:
Teórica
Práctica
Más es siempre preferido a menos.
vi. Selección de los encuestadores
vii. Feedback.
D. Supervisión y control (monitoreo) del trabajo de campo durante el levantamiento. Ver sección siguiente.
Monitoreo Digitación Costos Planificación Documentación
2. Monitoreo del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
Procesos de revisión de cumplimiento de estándares de calidad
durante el proceso de recolección de datos en terreno.
Nos permite:
Detectar amenazas a la calidad a tiempo y reaccionar
• Falsificación de datos
• Desempeño del encuestador en relación al cuestionario
• Desempeño del encuestador en relación al procedimiento de aplicación
• Errores en el cuestionario
Información sobre la calidad de los datos para su interpretación
en el análisis
No se aplica a encuestas auto-administradas: la calidad de los
datos se juega en el diseño del cuestionario!
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
Etapas del monitoreo de levantamiento de datos
a. Monitoreo del proceso de recolección en tiempo real
b. Acompañamiento en la aplicación (en un % aleatorio de la muestra, para detectar fallas en la aplicación).
Telefónica: grabación de entrevistas para detectar errores.
Auto-administrada en escuelas: observación de la aplicación en algunos cursos (pauta de observación estandarizada).
Poner atención en la entrega de la pregunta, en la forma de preguntar, en el feedback que le da al encuestado y en el ritmo y la claridad.
Nos permite monitorear desempeño del encuestador con respecto a la entrevista y al protocolo de aplicación, y detectar errores en el cuestionario.
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
c. Escrutinio (revisión minuciosa) del material recepcionado para detectar posibles errores en la aplicación del cuestionario. Permite monitorear el desempeño del encuestador en relación al
cuestionario (registro de respuestas en encuestas cara a cara y entrega de la pregunta y registro de respuesta en encuestas telefónicas)
d. Re-muestreo o Backcheck Preguntas estables, que no debiesen cambiar, un tiempo corto después del
primer encuestaje
Permite detectar falsificación o falta de precisión en preguntas
En algunos casos (escrutinio 100%) permite corregir preguntas con error
Se recomienda someter al menos el 10% de las encuestas a procedimiento de escrutinio y backcheck.
No se aplica a encuestas auto-administradas: la calidad de los datos se juega en el diseño del cuestionario!
Monitoreo Digitación Costos Planificación Documentación
Ejemplo 1: escrutinio encuesta telefónica
506 encuestas de 10269 (4.9%)
Errores de formulación: el telefonista hizo alguna modificación
sustancial de la pregunta al momento de realizarla?
Errores de digitación: incoherencias entre lo que contestó el
apoderado y lo que registró el telefonista
Se calificaron los errores de formulación y digitación según
gravedad
Monitoreo del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Ejemplo 1: escrutinio encuesta telefónica
Monitoreo del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Ejemplo 1: escrutinio encuesta telefónica
Pregunta en que el encuestador registra mal la respuesta. Se puede intentar corregir.
Pregunta mal preguntada (cambio en categorías de respuesta). Problema grave.
El escrutinio permitió identificar y cambiar a encuestadores que sistemáticamente cometían errores, a pesar de feedback.
Monitoreo del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
Ejemplo 2: escrutinio encuesta cara a cara
Revisión sistemática de las respuestas registradas en
las encuestas de seguimiento del proyecto.
Coherencia intra-pregunta: consiste en revisar que cada
pregunta individualmente haya sido contestada de manera
adecuada.
Coherencia inter-preguntas: corresponde al chequeo de la
consistencia entre respuestas a distintas preguntas.
Saltos: consiste en chequear que no se hayan cometido errores
al pasar de una sección a otra de la encuesta.
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
Ejemplo 2: escrutinio encuesta cara a cara
Se revisaron todas las encuestas (alrededor de 660
encuestas), y se registraron los errores para cada
pregunta.
Esta información se utilizó para monitorear la tasa de
error por pregunta para cada encuestador , y así poder
reaccionar ante tasas elevadas (tasa de error de 0.5%
parece razonable).
Monitoreo Digitación Costos Planificación Documentación
Ejemplo 3: Backcheck encuesta cara a cara
Chequeo de respuestas con el entrevistado mediante un llamado telefónico. Comprobar que las respuestas registradas efectivamente
corresponden a las del entrevistado (falsificación)
Corregir los errores encontrados en el escrutinio.
Se volvió a contactar a todos los encuestados para chequear que coincidieran las respuestas para un pequeño subgrupo de preguntas. En alrededor de un 10% de las encuestas se encontró algún tipo
de error.
Aquellas preguntas donde se encontraron errores e inconsistencias en el escrutinio eran formuladas nuevamente y las respuestas corregidas.
Monitoreo del levantamiento de datos
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
Fuente: Biemer y Lyberg, 2003.
Monitoreo Digitación Costos Planificación Documentación
3. Digitación
Monitoreo Digitación Costos Planificación Documentación
Monitoreo del levantamiento de datos
c. Escrutinio (revisión minuciosa) del material recepcionado para detectar posibles errores en la aplicación del cuestionario. Permite monitorear el desempeño del encuestador en relación al
cuestionario (registro de respuestas en encuestas cara a cara y entrega de la pregunta y registro de respuesta en encuestas telefónicas)
d. Re-muestreo o Backcheck Preguntas estables, que no debiesen cambiar, un tiempo corto después del
primer encuestaje
Permite detectar falsificación o falta de precisión en preguntas
En algunos casos (escrutinio 100%) permite corregir preguntas con error
Se recomienda someter al menos el 10% de las encuestas a procedimiento de escrutinio y backcheck.
No se aplica a encuestas auto-administradas: la calidad de los datos se juega en el diseño del cuestionario!
Monitoreo Digitación Costos Planificación Documentación
Monitoreo Digitación Costos Planificación Documentación
Digitación
Consiste en una captura de las respuestas
de los encuestados en los cuestionarios.
Objetivo: Minimizar tasa de error (número
de errores/número de campos de entrada),
minimizar ruido La tasa de error aceptada debe consensuarse con los
académicos de los proyectos (menor a 0,5%
razonable).
Monitoreo Digitación Costos Planificación Documentación
Digitación
Factores clave Sistema de captura de datos digital o manual (ojo con
características del cuestionario)
Doble digitación y revisión de discrepancias
Auditoría 10%
Sistema de pagos
• Fijo por hora vs por cuestionario
• Con premio/castigo
Monitoreo Digitación Costos Planificación Documentación
Digitación
Cómo pagar? Esquema de incentivos, bonos y castigos.
Buscamos rapidez, pero no nos sirve trabajo mal
hecho.
Monitoreo Digitación Costos Planificación Documentación
Digitación
Cómo pagar?
Cada vez se demoran menos, y lo hacen mejor.
Ojo con el techo ($20.000 al día?)
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5
Minutos por cuestionario
0
4.000
8.000
12.000
16.000
20.000
1 2 3 4 5
Pago promedio
0
0,5
1
1,5
2
2,5
1 2 3 4 5
Errores promedio por curso
Monitoreo Digitación Costos Planificación Documentación
Digitación
Externalizar el proceso? Criterios a considerar:
• Costos
• Calidad, experiencia, tecnología y resultados de las empresas que ofrecen el servicio
• Tiempo
• Tamaño del proyecto
• Complejidad de la encuesta
A favor: (1) experiencia de las empresas en el mercado (economías de escala), (2) ahorro en logística (equipamiento, operaciones, infraestructura)
En contra: (1) menor control, (2) menor flexibilidad
Monitoreo Digitación Costos Planificación Documentación
Términos de referencia para la digitación
Digitar 10% de los cuestionarios para realizar auditoría y elaborar reglas de negocio (aprendizaje sobre errores tipo).
Entregar base de datos con nombre de variable, rangos y etiquetas de valores.
Garantizar la participación en la capacitación.
Garantizar la supervisión del proceso de digitación.
Definir multas en relación al no cumplimiento de la tasa de error, al tiempo de entrega de las bases y la pérdida de instrumentos .
Pedir bases encriptadas si contienen información identificable.
Checklist para TdRs de digitación
Monitoreo Digitación Costos Planificación Documentación
Pretest y Pilotaje
Protocolo de confidencialidad de datos
Tasa de respuesta requerida y plan de recuperación
Capacitación exhaustiva de los encuestadores
Protocolo de monitoreo (tasa de error razonable 0.5%)
Digitación: doble digitación (tasa de error razonable 0.5%) y re-digitación
Checklist Estándares de Calidad en Levantamiento
Monitoreo Digitación Costos Planificación Documentación
4. Documentación
Monitoreo Digitación Costos Planificación Documentación
Documentación
¿Por qué cambiamos la pregunta de la línea de base?
Monitoreo Digitación Costos Planificación Documentación
Documentación
El proceso de levantamiento de datos
dura al menos dos años, en los que
cambian el analista de datos y el
coordinador de campo al menos una vez:
¿cuál el la probabilidad de que recuerden
de los cambios realizados a los
cuestionarios y las decisiones tomadas
durante el proceso?
Monitoreo Digitación Costos Planificación Documentación
Documentación
Objetivos:
Comunicar proceso, procedimientos y resultados
Insumo para la interpretación de los datos
Acumular experiencia y conocimiento en
levantamiento de datos para otros proyectos
Disponible en distintos formatos para
usuarios de los datos y equipo organización
(productores de evaluación)
Monitoreo Digitación Costos Planificación Documentación
Documentación
Puede tomar distintas formas:
Documentación de los procesos
administrativos del levantamiento de datos
Documentación de estándares de calidad
Reportes de calidad
Bitácora del proyecto (toma de decisiones)
Monitoreo Digitación Costos Planificación Documentación
Documentación
La documentación es una actividad permanente,
que comienza mucho antes de recoger los
datos.
Alguien debe ser responsable
Monitoreo Digitación Costos Planificación Documentación
5. Costos
Monitoreo Digitación Costos Planificación Documentación
Costos
48
Costos del levantamiento de datos según modo
de aplicación
Depende del largo de la encuesta, de la dispersión de la
muestra, del tamaño del proceso y otros…
Auto-administrada: $2.500 pesos por encuesta
Telefónica: $3.000 por encuesta
Cara a cara: Entre $10.000 (1 región, encuesta de 20 minutos) y
$22.000 (todas las regiones, encuesta de 1 hora) por encuesta
En general más caro externalizar.
Monitoreo Digitación Costos Planificación Documentación
Costos
49
Costos de Investigación (Trabajo Técnico)
•Salarios Investigadores
•Vistas a Campo
•Costos Administrativos
Costos de Implementación/ Trabajo de Campo
• Pre-test/Piloto
• Capacitación
• Salarios
• Materiales: Impresiones, Mapas, Comunicación
• Transporte , Seguros
• Monitoreo
• Digitación
Monitoreo Digitación Costos Planificación Documentación
Costos
50
• Equipos de Trabajo de Campo: Subcontratado vs interno
• Duración: Tiempo total de diseño, implementación, y análisis
• Fases: Cantidad de levantamientos de datos
• Instrumentos
• Contexto Local: Seguros, impuestos, idioma
Parámetros de costos de
Investigación
• Fuentes de Datos e Instrumentos : Fuentes de datos (terreno vs. administrativos)
• Modo de aplicación : Cara a cara, telefónica o auto-administrada?
• Tamaño de Muestra: La cantidad de unidades en la muestra, las muestras más grandes son más caras de medir.
• Unidad de Muestra: La unidad de muestra (por ejemplo: nivel individual, clúster)
• Dispersión de Muestra: Las distancias entre unidades de medición.
Parámetros de costos
Implementación
Monitoreo Digitación Costos Planificación Documentación
Costos
51
Ejemplo 1:
Chile Programa de Involucramiento Parental
Equipo de trabajo: Interno
Duración: 3 Años
Fases: 3
Fuentes de Datos: Terreno,
Administrativos
Instrumentos: Pruebas de
Lenguaje, cuestionario,
prueba de competencias
Tamaño de Muestra: 64
Escuelas
Unidad de Muestra: Clúster
(Escuela)
Monitoreo Digitación Costos Planificación Documentación
Costos
52
Ejemplo 2: México Programa de Garantía
Tecnológica
Comunicación $10,240
Equipo de trabajo: Interno y
sub-contratado
Duración: 1,5 Año
Fases: 4
Fuentes de Datos: Terreno
Instrumentos: Encuestas,
pruebas de tierra.
Tamaño de Muestra: 1000
agricultores
Unidad de Muestra: Individual
Equipo y Material $56,728
Campo $ 196,597
Salarios $174,540
Costos Administrativos
$58,662
Imprevistos $13,143
Monitoreo Digitación Costos Planificación Documentación
Costos
53
Chile México
Total: 256 342 USD Total: 509 910 USD
Diferencias Importantes: Equipo de Trabajo: Interno vs. Interno/Subcontratado,
Datos: Administrativo y Terreno vs Terreno
Duración: 3 vs 1.5 Años,
Fases 3 vs 4 Etapas,
Tamaño Muestra: 64 (clúster) vs 1000
Monitoreo Digitación Costos Planificación Documentación
Costos
54
Checklist de Consideraciones y Buenas Prácticas de Diseño de Presupuestos.
Evaluación- Intervención: Analizar la relación entre la evaluación e intervención y posibilidad de levantar datos de evaluación al intervenir
Etapas: Conformar el presupuesto de evaluación por etapa, considerar necesidad de cada etapa, particularmente línea base.
Monitoreo: Cuando el trabajo de campo es subcontratado, agregue un presupuesto para monitoreo independiente dentro del presupuesto de evaluación.
Escenarios: Conforme varios escenarios presupuestarios- considere potenciales cambios en la evaluación, estructuras de trabajo de campo, etapas.
Imprevistos: Incluya entre 5-2% del presupuesto total como un presupuesto para imprevistos.
Monitoreo Digitación Costos Planificación Documentación
¡Gracias!
55
Nicole Carpentier
B.A., Universidad de Chile
Analista de Investigación, J-PAL LAC